简介

深度学习是一类模式剖析方法的统称，就详细研究内容而言，紧张涉及三类方法：

(1)基于卷积运算的神经网络系统，即卷积神经网络(CNN)。

(2)基于多层神经元的自编码神经网络，包括自编码( Auto encoder)以及近年来受到广泛关注的稀疏编码两类( Sparse Coding)。

(3)以多层自编码神经网络的办法进行预演习，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。

通过多层处理，逐渐将初始的“低层”特色表示转化为“高层”特色表示后，用“大略模型”即可完成繁芜的分类等学习任务。
由此可将深度学习理解为进行“特色学习”（feature learning）或“表示学习”（representation learning）。

以往在机器学习用于现实任务时，描述样本的特色常日需由人类专家来设计，这成为“特色工程”（feature engineering）。
众所周知，特色的好坏对泛化性能有至关主要的影响，人类专家设计出好特色也并非易事；特色学习（表征学习）则通过机器学习技能自身来产生好特色，这使机器学习向“全自动数据剖析”又提高了一步。

近年来，研究职员也逐渐将这几类方法结合起来，如对原来因此有监督学习为根本的卷积神经网络结合自编码神经网络进行无监督的预演习，进而利用鉴别信息微调网络参数形成的卷积深度置信网络。
与传统的学习方法比较，深度学习方法预设了更多的模型参数，因此模型演习难度更大，根据统计学习的一样平常规律知道，模型参数越多，须要参与演习的数据量也越大。

20世纪八九十年代由于打算机打算能力有限和干系技能的限定，可用于剖析的数据量太小，深度学习在模式剖析中并没有表现出精良的识别性能。
自从2006年， Hinton等提出快速打算受限玻耳兹曼机(RBM)网络权值及偏差的CD-K算法往后，RBM就成了增加神经网络深度的有力工具，导致后面利用广泛的DBN(由 Hinton等开拓并已被微软等公司用于语音识别中)等深度网络的涌现。
与此同时，稀疏编码等由于能自动从数据中提取特色也被运用于深度学习中。
基于局部数据区域的卷积神经网络方法今年来也被大量研究。

释义

深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。
深度学习的观点源于人工神经网络的研究，含多个隐蔽层的多层感知器便是一种深度学习构造。
深度学习通过组合低层特色形成更加抽象的高层表示属性种别或特色，以创造数据的分布式特色表示。
研究深度学习的动机在于建立仿照人脑进行剖析学习的神经网络，它模拟人脑的机制来阐明数据，例如图像，声音和文本等。

https://baike.baidu.com/pic/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/3729729/0/b03533fa828ba61e9d9784754234970a304e596a?fr=lemma&ct=single 含多个隐层的深度学习模型

从一个输入中产生一个输出所涉及的打算可以通过一个流向图（flow graph）来表示：流向图是一种能够表示打算的图，在这种图中每一个节点表示一个基本的打算以及一个打算的值，打算的结果被运用到这个节点的子节点的值。
考虑这样一个打算凑集，它可以被许可在每一个节点和可能的图构造中，并定义了一个函数族。
输入节点没有父节点，输出节点没有子节点。

这种流向图的一个特殊属性是深度（depth）：从一个输入到一个输出的最长路径的长度。

传统的前馈神经网络能够被看作拥有即是层数的深度（比如对付输出层为隐层数加1）。
SVMs有深度2（一个对应于核输出或者特色空间，另一个对应于所产生输出的线性稠浊）。

人工智能研究的方向之一，因此所谓 “专家系统” 为代表的，用大量 “如果-就”（If - Then）规则定义的，自上而下的思路。
人工神经网络（Artificial Neural Network），标志着其余一种自下而上的思路。
神经网络没有一个严格的正式定义。
它的基本特点，是试图模拟大脑的神经元之间通报，处理信息的模式。

特点

差异于传统的浅层学习，深度学习的不同在于：

(1)强调了模型构造的深度，常日有5层、6层，乃至10多层的隐层节点；

(2)明确了特色学习的主要性。
也便是说，通过逐层特色变换，将样本在原空间的特色表示变换到一个新特色空间，从而使分类或预测更随意马虎。
与人工规则布局特色的方法比较，利用大数据来学习特色，更能够刻画数据丰富的内在信息。

通过设计建立适量的神经元打算节点和多层运算层次构造，选择得当的输人层和输出层，通过网络的学习和调优，建立起从输入到输出的函数关系，虽然不能100%找到输入与输出的函数关系，但是可以尽可能的逼近现实的关联关系。
利用演习成功的网络模型，就可以实现我们对繁芜事务处理的自动化哀求。

深度学习演习过程

2006年，Hinton提出了在非监督数据上建立多层神经网络的一个有效方法，详细分为两步：首先逐层构建单层神经元，这样每次都是演习一个单层网络；当所有层演习完后，利用wake-sleep算法进行调优。

将除最顶层的其他层间的权重变为双向的，这样最顶层仍旧是一个单层神经网络，而其他层则变为了图模型。
向上的权重用于“认知”，向下的权重用于“天生”。
然后利用wake-sleep算法调度所有的权重。
让认知和天生达成同等，也便是担保天生的最顶层表示能够尽可能精确地复原底层的节点。
比如顶层的一个节点表示人脸，那么所有人脸的图像该当激活这个节点，并且这个结果向下天生的图像该当能够表现为一个大概的人脸图像。
wake-sleep算法分为醒( wake)和睡(sleep)两个部分。

wake阶段：认知过程，通过外界的特色和向上的权重产生每一层的抽象表示，并且利用梯度低落修正层间的下行权重。

sleep阶段：天生过程，通过顶层表示和向下权重，天生底层的状态，同时修正层间向上的权重。

自下上升的非监督学习

便是从底层开始，一层一层地往顶层演习。
采取无标天命据（有标天命据也可）分层演习各层参数，这一步可以看作是一个无监督演习过程，这也是和传统神经网络差异最大的部分，可以看作是特色学习过程。
详细的，先用无标天命据演习第一层，演习时先学习第一层的参数，这层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限定以及稀疏性约束，使得得到的模型能够学习到数据本身的构造，从而得到比输入更具有表示能力的特色；在学习得到n-l层后，将n-l层的输出作为第n层的输入，演习第n层，由此分别得到各层的参数。

自顶向下的监督学习

便是通过带标签的数据去演习，偏差自顶向下传输，对网络进行微调。
基于第一步得到的各层参数进一步优调度个多层模型的参数，这一步是一个有监督演习过程。
第一步类似神经网络的随机初始化初值过程，由于第一步不是随机初始化，而是通过学习输入数据的构造得到的，因而这个初值更靠近全局最优，从而能够取得更好的效果。
以是深度学习的良好效果在很大程度上归功于第一步的特色学习的过程。

运用

打算机视觉

喷鼻香港中文大学的多媒体实验室是最早运用深度学习进行打算机视觉研究的华人团队。
在世界级人工智能竞赛LFW（大规模人脸识别竞赛）上，该实验室曾力压FaceBook独占鳌头，使得人工智能在该领域的识别能力首次超越真人。

语音识别

微软研究职员通过与hinton互助，首先将RBM和DBN引入到语音识别声学模型演习中，并且在大词汇量语音识别系统中得到巨大成功，使得语音识别的缺点率相对减低30%。
但是，DNN还没有有效的并行快速算法，很多研究机构都是在利用大规模数据语料通过GPU平台提高DNN声学模型的演习效率。

在国际上，IBM、google等公司都快速进行了DNN语音识别的研究，并且速率飞快。

海内方面，阿里巴巴、科大讯飞、百度、中科院自动化所等公司或研究单位，也在进行深度学习在语音识别上的研究。

自然措辞处理等其他领域

很多机构在开展研究，2013年，Tomas Mikolov，Kai Chen，Greg Corrado，Jeffrey Dean揭橥论文Efficient Estimation of Word Representations in Vector Space建立word2vector模型，与传统的词袋模型（bag of words）比较，word2vector能够更好地表达语法信息。
深度学习在自然措辞处理等领域紧张运用于机器翻译以及语义挖掘等方面。

#神经网络##神经网络##让AI触手可及#