图像识别 —— 图像识别可以说是深度学习最早实现打破性造诣的领域。
如今打算机对图片的识别能力已经跟人类不相上下。
我们把一张图片输着迷经网络，经由网络的运算，末了可以得到图片的分类。
如图1.15所示，我们可以看到每一张图片神经网络都给出了5个最有可能的分类，排在最上面的可能性最大。

图1.15 图像识别

目标检测 —— 利用深度学习我们还可以识别图片中的特定物体，然后对该物体进行标注，如图1.16。

图1.16 目标识别

人脸识别 —— 深度学习还可以识别图像中的人脸，判断是男人还是女人，判断人的年事，判断图像中的人是谁等，如图1.17。

图1.17 人脸识别

描述图片 —— 把一张图片输着迷经网络中，就可以输出对这张图片的笔墨描述，如图1.18。

图1.18 图片描述

图片风格转换 —— 利用深度学习实现一张图片加上另一张图片的风格，然后天生一张新的图片，如图1.19。

图1.19 图片风格转换

语音识别 —— 深度学习还可以用来识别人说的话，如图1.20。

图1.20 语音识别

文本分类 —— 利用深度学习对多个文本进行分类，如图1.21。

图1.21 文本分类

机器翻译 —— 利用深度学习进行机器翻译，如图1.22。

图1.22 机器翻译

诗词天生 —— 把一个诗词的题目传着迷经网络，就可以天生一篇诗词，如图1.23。

图1.23 诗句天生

图像天生 —— 深度学习还可以用来天生图片。
如下图所示，只要设置好动漫人物的头发颜色，头发长度，眼睛颜色，是否戴帽子等信息就可以天生符合条件的动漫人物。
并且可以天生无数张不重复的照片，如图1.24。

图1.24 图像天生

这里只是列举了非常少量的例子，深度学习的已经逐渐深入各行各业，深入我们的生活中。

神经网络的发展历史中有过三次热潮，分别发展在20世纪40年代到60年代，20世纪80年代到90年代，以及2006年至今。
每一次神经网络的热潮都伴随着人工智能的兴起，人工智能和神经网络一贯以来都有着非常密切的关系。

1.4.1神经网络出身-20世纪40-60年代

1943年，精力病学家和神经元解剖学家W.S.McCulloch和数学家W.A.Pitts在生物物理学期刊揭橥文章提入迷经元的数学描述和构造。
并且证明了只要有足够的大略神经元，在这些神经元相互连接并同步运行的情形下，可以仿照任何打算函数，这种神经元的数学模型称为M-P模型。
该模型把神经元的动作描述为：1.神经元的活动表现为愉快或抑制的二值变革；2.任何愉快性突触输入勉励后，使神经元愉快；3.任何抑制性突触有输入勉励后，使神经元抑制；4.突触的值不随韶光改变；5.突触从感知输入到传送出一个输出脉冲的延时时间是0.5ms。

只管现在看来M-P模型过于大略，并且不雅观点也不是完备精确，不过这个模型被认为是第一个仿生学的神经网络模型，他们提出的很多不雅观点一贯沿用至今，比如说他们认为神经元有两种状态，要不便是愉快，要不便是抑制。
这跟后面要提到的单层感知器非常类似，单层感知器的输出要不便是0要不便是1。
他们最主要的贡献便是首创了神经网络这个研究方向，为本日神经网络的发展奠定了根本。

1949年，另一位生理学家Donald Olding Hebb在他的一本名为《行为构成》（Organization of Behavior）的书提出了Hebb算法。
他也是首先提出\公众连接主义\"大众（connectionism）这一名词的人之一，这个名词的含义是大脑的活动是靠脑细胞的组合连接实现的。
Hebb认为，如果源和目的神经元均被激活愉快时，它们之间突触的连接强度将会增强。
他指出在神经网络中，信息存储在连接权值中。
并提出假设神经元A到神经元B连接权与从B到A的连接权是相同的。
他这里提到的这个权值的思想也被运用到了我们目前所利用的神经网络中，我们通过调节神经元之间的连接权值来得到不同的神经网络模型，实现不同的运用。
虽然这些理论在本日看来是天经地义的，不过在当时看来这是一种全新的想法，算得上是首创性的理论。

1958年，打算机学家Frank Rosenblatt提出了一种具有三层网络特性的神经网络构造，称为感知器(Perceptron)。
他提出的这个感知器可能是天下上第一个真正意义上的人工神经网络。
感知器提出之后在60年代就掀起了神经网络研究的第一次热潮。
很多人都认为只要利用成千上万的神经元，他们就能办理统统问题。
现在看来可能会让人觉得too young too naive，不过感知器在当时确实是影响非凡。

这股感知器热潮持续了10年，直到1969年，人工智能的创始人之一的M.Minsky和S.Papert出版了一本名为《感知器》的书，书中指出大略神经网络只能利用于线性问题的求解，能够求解非线性问题的网络应具有隐层，而从理论上还不能证明将感知器模型扩展到多层网络是故意义的。
由于Minsky在学术界的地位和影响，其悲观论点极大地影响了当时的人工神经网络研究，为刚刚燃起希望之火的人工神经网络泼了一大盘冷水。
这本书出版不不久之后，险些所有为神经网络供应的研究基金都枯竭了，没有人乐意把钱摧残浪费蹂躏在没故意义的事情上。

1.4.2神经网络复兴-20世纪80-90年代

1982年，美国加州理工学院的精良物理学家John J.Hopfield博士提出了Hopfield神经网络。
Hopfield神经网络引用了物理力学的剖析方法，把网络作为一种动态系统并研究这种网络动态系统的稳定性。

1985年，G.E.Hinton和T.J.Sejnowski借助统计物理学的观点和方法提出了一种随机神经网络模型——玻尔兹曼机(Boltzmann Machine)。
一年后他们又改进了模型，提出了受限玻尔兹曼机(Restricted Boltzmann Machine)。

1986年，Rumelhart，Hinton，Williams发展了BP(Back Propagation)算法（多层感知器的偏差反向传播算法）。
到本日为止，这种多层感知器的偏差反向传播算法还是非常根本的算法，凡是学神经网络的人，一定要学习BP算法。
我们现在的深度网络模型基本上都是在这个算法的根本上发展出来的。
不过BP神经网络的神经元层数不能太多，一旦网络层数过多，就会涌现梯度消逝问题，使得网络再也无法演习。
详细缘故原由在后面的章节中会详细解释。

注：Hopfield神经网络，玻尔兹曼机以及受限玻尔兹曼机由于目前已经较少利用，以是本书后面章节不再详细先容这三种网络。

1.4.3深度学习-2006年至今

2006年，多伦多大学的教授Geoffrey Hinton提出了深度学习。
他在世界顶级学术期刊《科学》上揭橥了一篇论文(Reducing the dimensionality of data with neural networks)[1]，论文中提出了两个不雅观点：①多层人工神经网络模型有很强的特色学习能力，深度学习模型学习得到的特色数据对原始数据有更实质的代表性，这将大大便于分类和可视化问题；②对付深度神经网络很难演习达到最优的问题，可以采取逐层演习方法办理。
将上层演习好的结果作为下层演习过程中的初始化参数。
在这一文献中深度模型的演习过程中逐层初始化采取无监督学习办法。

Hinton在论文中提出了一种新的网络构造深度置信网（Deep Belief Net：DBN），这种网络使得演习深层的神经网络成为可能。

注：深度置信网络由于目前已经较少利用，以是本书后面章节不再详细先容这种网络。

2012年，Hinton课题组为了证明深度学习的潜力，首次参加ImageNet图像识别比赛，通过CNN网络AlexNet一举独占鳌头。
也正是由于该比赛，CNN吸引了浩瀚研究者的把稳。

2014年，喷鼻香港中文大学教授汤晓鸥领导的打算机视觉研究组开拓了名为DeepID的深度学习模型， 在LFW (Labeled Faces in the Wild，人脸识别利用非常广泛的测试基准)数据库上得到了99.15%的识别率，人用肉眼在LFW上的识别率为97.52%，深度学习在学术研究层面上已经超过了人用肉眼的识别。

2016年3月人工智能围棋比赛，由位于英国伦敦的谷歌（Google）旗下DeepMind公司的开拓的AlphaGo降服了天下围棋冠军、职业九段选手李世石，并以4:1的总比分得胜。

前文传送门： 独家连载｜覃秉丰深度学习重磅新书首发抢读！
（1）