深度学习大神Hinton推翻自己30年的学术成果另造新世界

添加时间:17-11-01   添加人:  点击:

大数据


Hinton,这个以“深度学习之父”和“神经网络先驱”响彻AI领域的名字,他的一举一动,都是热点导向。


当我们远望一位顶级人物时,除了他的学术,也许,我们更应该关注到他的内心与灵魂。


到底是何等的心境,成就了这位伟大的人物。


就在最近,当这位70岁的老爷爷,毫不掩饰地敢于推翻自己花了30多年才建立起来的深度学习帝国时,我被这个伟大的灵魂感染了,感动了。


试问,当你处在人生的巅峰时,你敢不敢对自己的过去提出质疑,敢不敢勇敢地跳出舒适区,敢不敢抛弃世俗的压力,敢不敢在已年满70岁高龄时重新追求新的目标?


这才是伟大与普通在灵魂上的差别。在Hinton质朴的眼神里,我们看到的是平常心,却又是那么高处不胜寒练就的巅峰体验。


这几日,Hinton被刊进各大媒体的头版头条,是因为他的那篇Capsule论文,终于揭下了神秘的面纱。


在论文中,Capsule被Hinton大神定义为这样一组神经元:其活动向量所表示的是特定实体类型的实例化参数。他的实验表明,鉴别式训练的多层Capsule系统,在MNIST手写数据集上表现出目前最先进的性能,并且在识别高度重叠数字的效果要远好于CNN。


该论文无疑将是今年12月初NIPS大会的重头戏。


不过,对于这篇论文的预热,Hinton大神可是早有准备。


一个月前,在多伦多接受媒体采访时,Hinton大神断然宣称要放弃反向传播,让整个人工智能从头再造。不明就里的媒体们顿时蒙圈不少。


8月份的时候,Hinton大神还用一场“卷积神经网络都有哪些问题?”的演讲来介绍他手中的Capsule研究,他认为“CNN的特征提取层与次抽样层交叉存取,将相同类型的相邻特征检测器的输出汇集到一起”是大有问题的。当时的演讲中,Hinton大神可没少提CNN之父Yann LeCun的不同观点。


毕竟,当前的CNN一味追求识别率,对于图像内容的“理解”帮助有限。而要进一步推进人工智能,让它能像人脑一样理解图像内容、构建抽象逻辑,仅仅是认出像素的排序肯定是不够的,必须要找到方法来对其中的内容进行良好的表示……这就意味着新的方法和技术。


而当前的深度学习理论,自从Hinton大神在2007年(先以受限玻尔兹曼机进行训练、再用有监督的反向传播算法进行调优)确立起来后,除了神经网络结构上的小修小改,很多进展都集中在梯度流上,正如知乎大V“SIY.Z”在《浅析Hinton最近提出的Capsule计划》(zhuanlan.zhihu.com/p/29435406)时所举的例子(为了方便大家阅读这篇文章,营长将具体内容附在文章末尾):


sigmoid会饱和,造成梯度消失。于是有了ReLU。


ReLU负半轴是死区,造成梯度变0。于是有了LeakyReLU,PReLU。


强调梯度和权值分布的稳定性,由此有了ELU,以及较新的SELU。


太深了,梯度传不下去,于是有了highway。


干脆连highway的参数都不要,直接变残差,于是有了ResNet。


强行稳定参数的均值和方差,于是有了BatchNorm。


在梯度流中增加噪声,于是有了 Dropout。


RNN梯度不稳定,于是加几个通路和门控,于是有了LSTM。


LSTM简化一下,有了GRU。


GAN的JS散度有问题,会导致梯度消失或无效,于是有了WGAN。


WGAN对梯度的clip有问题,于是有了WGAN-GP。


而本质上的变革,特别是针对当前CNN所无力解决的动态视觉内容、三维视觉等难题……进行更为基础的研究,或许真有可能另辟蹊径。


这当然是苦力活,Hinton大神亲自操刀的话,成功了会毁掉自己赖以成名的反向传播算法和深度学习理论,失败了则将重蹈爱因斯坦晚年“宇宙常数”的覆辙。所以,李飞飞对他在这里的勇气大为赞赏:


大数据

如今Capsule的论文刚刚出来,深度学习的各路大神并没有贸然对其下评论,深夜中的外媒亦尚未就此发稿,甚至就连技术圈内一向口水不断的Hacker News,今天也是静悄悄地一片。>


不过,可以肯定的一点是,一个月后的NIPS大会,Capsule更进一步的效果必定会有所显现,AI科技大本营也一定会继续跟进这里的进展。


至于Hinton此举对于深度学习和整个人工智能界的后续影响,包括Yann LeCun在内的各路大神恐怕都不敢冒下结论,以营长的水平,在这里连翻译和解析论文都显得多余(论文在这里arxiv.org/abs/1710.09…,感兴趣的话可自取)。咱们还是静等时间来验证Hinton大神的苦心孤诣到底值不值得吧。


这正如Hinton大神在接受吴恩达采访时所说的:


如果你的直觉很准,那你就应该坚持,最终必能有所成就;反过来你直觉不好,那坚不坚持也就无所谓了。反正你从直觉里也找不到坚持它们的理由。


当然,营长肯定是相信Hinton大神的直觉的,更是期待人工智能能在当前的水平上更进一步。


尽管意义不同,Hinton大神此举却让营长想到了同在古稀之年的开尔文勋爵,他1900年那场关于物理学“两朵乌云”的演讲可是“预言”得贼准:“紫外灾难”让年近不惑的普朗克为量子力学开创了先河,“以太漂移”让刚刚毕业的爱因斯坦开始思考狭义相对论,经典物理学的大厦就此崩塌。


那么,人工智能上空所飘荡的到底是一朵“乌云”呢?还是一个新的时代?让我们拭目以待。