神经网络、深度学习与自然语言处理  

Artificial Neural Network,Deep Learning and Natural Language Processing

作　　者：冯志伟[1] FENG Zhiwei

机构地区：[1]教育部语言文字应用研究所,北京100010

出　　处：《上海师范大学学报（哲学社会科学版）》2021年第2期110-122,共13页Journal of Shanghai Normal University(Philosophy & Social Sciences Edition)

摘　　要：介绍了自然语言处理中的神经语言模型,讨论了大脑神经网络、人工神经网络、“异或”问题、前馈神经网络、神经网络的历史分期及其进一步发展等;指出,在神经网络的研究中,感知机不能解决线性不可分的分类问题,通过增加隐藏层才能进行“异或”运算。通常情况下,在训练神经网络的同时,还要进行嵌入学习,对于机器翻译、情感分类、句法剖析这些自然语言处理的特殊任务,常常要加上很强的约束,并应当把基于语言规则的理性主义方法和基于大数据的经验主义方法结合起来。This paper introduces the neural network in natural language processing(NLP),respectively discusses the brain neural network,artificial neural network,XOR problem,feed-forward neural network,historical periods,and its further development.The paper points out that in the research of neural network,we need to combine the linguistic-rule-based rationalism approach and big-data-based empiricism approach.

关 键 词：大脑神经网络 人工神经网络 “异或”问题 感知机 前馈神经网络 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]