来源：云

【新智元导读】 深度学习的下一站是什么？去年，算法领域没有重大的打破。
本文作者 William Vorhies是DataScienceCentral的编辑主任，曾担当Data-Magnum公司的总裁兼首席数据科学家和EB5C公司的总裁，他 对有望在该领域得到下一大打破的几种领先技能作了一番调查。

我们被卡住了，或者至少我们处于瓶颈期。

谁还记得算法、芯片或数据处理领域上一次整整一年都没有重大、显著的进步是啥时候？几周前我参加Strata圣何塞大会，却没有看到引人瞩目的新进展，这太不同平凡了。

我之前宣布过，我们彷佛进入了成熟期， 现在我们的紧张精力是确保所有强大的新技能很好地协同事情（领悟平台），或者从那些大规模的风险投资得到回报。

并非只有我一人把稳到了这个问题。
几位与会者和参展商的意见与我非常相似。
有一天我收到了几位有名研究职员发来的研究纪要，他们一贯在评估不同高等剖析平台的相对优点，得出的结论是，没有任何不一样的地方值得报告。

我们为何卡住？卡在哪里？

我们现在的处境实际上并非很糟糕。
在过去的两三年，我们取得的进展都在深度学习和强化学习这个领域。
深度学习在处理语音、文本、图像和视频方面为我们带来了出色的功能。
加上强化学习，我们在游戏、自动驾驶汽车笔机器人等方面取得了重大进展。

我们现处在基于这些技能的商业爆炸式发展的最初阶段，比如通过谈天机器人大大简化客户互动、新的个人便利运用（比如个人助理和Alexa），以及私家车中的二级自动化（比如自适应巡航掌握、避免事件制动和车道掩护）。

Tensorflow、Keras及其他深度学习平台比以往更易于利用，而且得益于GPU，比以往更高效。

然而，已知的一系列缺陷根本没有办理掉。

须要太多标注的演习数据。

模型须要花太长的韶光或太多的昂贵资源来演习，但仍有可能根本无法演习。

尤其是节点和层方面的超参数依然很神秘。
自动化或乃至被广泛接管的履历法则仍遥遥无期。

迁移学习只意味着从繁芜迁移到大略，而不是从一个逻辑系统迁移到另一个逻辑系统。

我确信问题还有更多。
我们卡就卡在理解决这些紧张的缺陷上。

什么让我们止步不前？

以深度神经网络（DNN）为例，眼下的传统不雅观点认为，如果我们连续推进、连续投入，那么这些缺陷就会被战胜。
比如说，从上世纪80年代到2000年代，我们知道如何使DNN事情，但根本没有相应的硬件。
一旦战胜了这个难题，DNN结合新的开源理念就会冲破这个新领域的瓶颈。

各种类型的研究都有自己的发展势头，尤其是，一旦你往某个特定的方向投入了大量的韶光和财力，会一贯往这个方向提高。
如果你已花费数年来开拓这些技能方面的专业知识，不会轻易转变方式。

纵然并不完备确信什么是精确的方向，也要改变方向

有时候我们须要改变方向，纵然我们并不确切知道新的方向是什么。
最近领先的加拿大和美国AI研究职员便是这么做的。
他们认为自己被误导了，须要本色上重新开始。

去年秋日，杰弗里•辛顿（Geoffrey Hinton）以实际行动诠释了这番感悟，他因上世纪80年代在DNN领域的首创性事情而名声大噪。
辛顿现在是多伦多大学名誉教授和谷歌研究员，他表示，现在他对DNN的根本方法：反向传播“极其疑惑”。
辛顿不雅观察到人脑不须要所有那些标记的数据就能得出结论，说“我的不雅观点是，扔掉反向传播，从头开始。
”

考虑到这一点，下面大略地调查一下新方向，它们有的很靠谱，有的不太现实，但都不是对我们所知道的深度神经网络所作的渐进式改进。

描述的内容故意简短，无疑会勾引您进一步阅读以求充分理解。

看起来像DNN、但实则不是的技能

有一系列研究力挺辛顿鞭笞反向传播的不雅观点，认为节点和层的基本构造有用，但连接和打算的方法须要大幅修正。

胶囊网络（CapsNet）

我们先从辛顿自己目前的研究新方向CapsNet开始提及。
这与CNN的图像分类有关；大略地说，问题是卷积神经网络（CNN）对付工具的姿态（pose）并不敏感。
也便是说，如果识别同一工具，但是位置、大小、方向、变形、速率、反射率、色调和纹理等方面有所不同，就须要为这每一种情形添加演习数据。

在CNN中，这是通过大量增加演习数据及/或增加可以泛化的最大池化层来处理的，但完备丢失了实际信息。

下列描述来自CapsNets方面浩瀚出色的技能描述之一，这个来自Hackernoon。

胶囊是一组嵌套的神经层。
以是在普通的神经网络中，你不断增加更多的层。
在CapsNet中，你会在一个层里面添加更多层。
或者换句话说，将一个神经层嵌套在另一个神经层里面。
胶囊内神经元的状态捕获图像内一个实体的上述属性。
胶囊输出一个向量，表示实体的存在。
向量的方向代表实体的属性。
该向量被发送给神经网络中所有可能的父节点（parent）。
预测向量则通过自身权重和权重矩阵相乘来打算。
无论哪个父节点有最大的标量预测向量乘积，都会加大胶囊键（capsule bond），别的父节点减小胶囊键。
这种采取协议路由机制（routing by agreement）的方法优于当前像最大池化这样的机制。

CapsNet极大地减小了所需的演习集，在早期测试中表明：在图像分类方面，性能更胜一筹。

gcForest

今年2月，我们先容了南京大学新软件技能国家重点实验室的周志华和冯霁的研究成果，他们展示了一种名为gcForest的技能。
他们的研究报论文显示，gcForest在文本分类和图像分类方面都常常赛过CNN和RNN。
优点相称明显。

只须要一小部分演习数据。

在普通的台式机CPU设备上就可以运行，无需GPU。

演习速率一样快，在许多情形下乃至更快，适宜于分布式处理。

超参数少得多，在默认设置下表现良好。

依赖易于理解的随机森林，而不是完备不透明的深度神经网络。

简而言之，gcForest（多粒度级联森林）是一种决策树集成方法，深度网络的级联结构保留下来，但不透明的边缘和节点神经元被与完备随机的树森林配对的随机森林组取而代之。
请理解gcForest的更多信息，请参与我们的这篇原始文章（https://www.datasciencecentral.com/profiles/blogs/off-the-beaten-path-using-deep-forests-to-outperform-cnns-and-rnn）。

Pyro和Edward

Pyro和Edward是两种新的编程措辞，将深度学习框架与概率编程领悟在一起。
Pyro是优步和谷歌的精品，而Edward脱胎于哥伦比亚大学，得到了美国国防高等研究操持局（DARPA）的帮助。
结果是，框架让深度学习系统可以丈量它们对付预测或决策的信心有多大。

在经典的预测剖析中，我们可能利用对数丢失作为拟合函数，并惩罚自傲但缺点的预测（误报），以此处理这个问题。
到目前为止，对付深度学习而言没有一定的结果。
（So far there’s been no corollary for deep learning.）

比如说，这有望适用于自动驾驶汽车或飞机，好让掌握系统在做出重大的决定之前具有某种自傲或疑惑的觉得。
这当然是你希望优步的自动驾驶车辆在你上车前要知道的。

Pyro和Edward都处于发展的早期阶段。

看起来不像深度网络的方法

我常常碰到一些小公司，它们开拓的平台其核心利用不同平凡的算法。
我创造在大多数情形下，它们一贯不愿意供应足够详细的资料，好让我可以为读者描述平台算法的概况。
这种保密并不影响它们的效用，但是除非它们供应一些基准数字和一些细节，否则我无法真正见告你内部发生了什么。

目前，我研究过的最前辈的非DNN算法和平台如下：

分层韶光影象（HTM）

分层韶光影象（HTM）利用稀疏分布式表示（SDR）对大脑的神经元进行建模，并实行打算，它在标量预测（商品、能源或股价等方面的未来代价）和非常检测方面的性能比CNN和RNN更胜一筹。

这因此Palm Pilot成名的杰夫•霍金斯（Jeff Hawkins）在其公司Numenta得到的成果。
霍金斯致力于搞出一种强大的AI模型，该模型基于针对大脑功能的根本研究，它不是采取DNN中的层和节点那种构造。

HTM的特点是可以非常迅速地创造模式，只须要1000次不雅观测。
比较之下，演习CNN或RNN须要不雅观测数十万次、乃至数百万次。

此外，模式识别是无监督的，可以基于不断变革的输入实时识别模式中的变革，并推而广之。
因而得到的系统不仅演习起来非常快，还具有自学习和自适应的特点，不会被数据的变革或滋扰信息（noise）所困扰。

我们在2月份的文章中先容了HTM和Numenta，建议不妨阅读一下（https://www.datasciencecentral.com/profiles/blogs/off-the-beaten-path-htm-based-strong-ai-beats-rnns-and-cnns-at-pr）。

值得一提的一些渐进式改进

我们力争关注真正改变这个领域的技能，不过渐进式改进方面至少有两个例子值得一提。
这些显然仍是范例的CNN和RNN（有着反向传播的要素），但事情起来效果更好。

利用谷歌云AutoML进行网络修剪

谷歌和英伟达的研究职员利用一种名为网络修剪（network pruning）的方法，去除了并不直接影响输出的神经元，让神经网络更小巧、运行起来更高效。
最近取得的这一进步缘于谷歌新的AutoML平台在性能上有了重大改进。

Transformer

Transformer是一种新颖的方法，最初在CNN、RNN和LTSM善于的领域：措辞处理（比如措辞到措辞的翻译）中很有用。
去年夏天谷歌Brain和多伦多大学的研究职员发布了Transformer，它已在包括这项英语/德语翻译测试在内的浩瀚测试中表明准确性有了显著提高。

RNN具有顺序处理的特性，因而更难充分发挥GPU等当代快速打算设备的性能，这类设备善于并行处理而不是顺序处理。
CNN的顺序处理特性比RNN弱得多，但在CNN架构中，组合来自输入远端部分的信息所须要的步骤数量仍随间隔加大而增多。

准确性方面的打破来自开拓出“自把稳力功能”（self-attention function），该功能将步骤显著简化为数量不多且恒定的步骤。
在每个步骤，它都会利用自把稳力机制，直接对句子中所有单词之间的关系建立模型，不管它们各自的位置若何。

请阅读此处的原始研究论文（https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf）。

结束语： 大概是时候转变方向了

一个不可忽略的事实是，中国正在大力投资于AI；设定的目标是，在几年内超过美国，成为环球AI领导者。

斯蒂夫•莱文（Steve LeVine）是Axios的未来栏目编辑，并在乔治城大学任教。
他在撰写的一篇文章中认为，中国可能在迅速跟随，但恐怕永久赶不上。
缘故原由在于，美国和加拿大的研究职员可以随时转变方向、从头开始。
制度上受导向的中国人永久没法这么做。
以下内容来自莱文的那篇文章：

“在中国，那是无法想象的，”西雅图Outreach.io的首席实行官曼尼•梅迪纳（Manny Medina）说。
他表示，像Facebook的雅恩•乐坤（Yann LeCun）和多伦多Vector Institute的杰夫•辛顿（Geoff Hinton）这些AI界的明星“不必征得批准。
他们可以开始研究，向前推进事情。
”

本文来悛改智元，创业家系授权发布，略经编辑修正，版权归作者所有，内容仅代表作者独立不雅观点。
[ 下载创业家APP，读懂中国最赢利的7000种买卖 ]