文章目录

神经网络的三起两落

二十世纪四十年代M-P神经元模型、Hebb学习律出现后,五十年代出现了以感知机、Adaline为代表的一系列成果,这是神经网络发展的第一个高潮期。不幸的是,MIT计算机科学研究的奠基人马文·闵斯基(Marvin Minsky,1927-至今)与Seymour Papert在1969年出版了《感知机》一书,书中指出,单层神经网络无法解决非线性问题,而多层神经网络的训练算法尚看不到希望。这个论断直接是神经网络研究进入了“冰河期”,美国和苏联均停止了对神经网络研究的自主,全球该领域研究人员纷纷转行,仅剩极少数人坚持下来。

其中,闵斯基于1969年获图灵奖。《感知机》一书中有不少关于神经网络的真知灼见,但其重要论断所导致的后果,对神经网络乃至人工智能整体的研究产生了极为残酷的影响,因此在神经网络又重新兴起后,该书受到很多批判。1988年再版时,闵斯基专门增加了一章以作辩护。

1974年,哈弗大学的Paul Werbos发明BP算法时,正值神经网络的冰河期,因此未受到应有的重视。1983年,加州理工学院的物理学家John Hopfield利用神经网络,在旅行商问题这个NP完全问题的求解上获得当时最好结果, 引起了轰动。稍后,UCSD的David Rumelhart与James McClelland领导的PDP小组出版了《并行分布处理:认知微结构的探索》一书,Rumelhart等人重新发明了BP算法,由于当时正处于Hopfield带来的兴奋之中,BP算法迅速走红。这掀起了神经网络的第二次高潮。二十世纪九十年代中期,随着统计学习理论和支持向量机的兴起,神经网络学习的理论性质不够清楚、试错性弱、在使用中充斥大量“窍门”(trick)的弱点更为明显,于是神经网络研究又进入低谷,NIPS会议甚至多年不接受一神经网络为主题的论文。

2010年前后,随着计算能力的迅猛提升和大数据的涌现,神经网络研究在“深度学习”名义下又重新崛起,先是在ImageNet等若干竞赛上以大优势夺冠,此后谷歌、百度、脸书等公司纷纷投入巨资进行研发,神经网络迎来了第三次高潮。

题外话之什么是深度学习

深度学习是包含多级非线性变换的层级机器学习方法,深层神经网络是目前的主要形式。