一样平常谈云打算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云打算……觉得三者之间相辅相成又不可分割。

但如果是非技能的职员，就可能比较难明得这三者之间的相互关系，以是有必要阐明一下。

云打算最初的目标

我们首先来说云打算。
云打算最初的目标是对资源的管理，管理的紧张是打算资源、网络资源、存储资源三个方面。

管数据中央就像配电脑

什么叫打算、网络、存储资源？

比如你要买台条记本电脑，是不是要关心这台电脑是什么样的 CPU？多大的内存？这两个就被我们称为打算资源。

这台电脑要上网，就须要有个可以插网线的网口，或者有可以连接我们家路由器的无线网卡。

您家也须要到运营商比如联通、移动或者电信开通一个网络，比如 100M 的带宽。
然后会有师傅弄一根网线到您家来，师傅可能会帮您将您的路由器和他们公司的网络连接配置好。

这样您家的所有的电脑、手机、平板就都可以通过您的路由器上网了。
这便是网络资源。

您可能还会问硬盘多大？过去的硬盘都很小，大小如 10G 之类的；后来纵然 500G、1T、2T 的硬盘也不新鲜了。
(1T 是 1000G)，这便是存储资源。

对付一台电脑是这个样子的，对付一个数据中央也是同样的。
想象你有一个非常非常大的机房，里面堆了很多的做事器，这些做事器也是有 CPU、内存、硬盘的，也是通过类似路由器的设备上网的。

这时的问题便是：运营数据中央的人是怎么把这些设备统一的管理起来的呢？

灵巧便是想啥时要都有，想要多少都行

管理的目标便是要达到两个方面的灵巧性。
详细哪两个方面呢？

举个例子来理解：比如有个人须要一台很小的电脑，只有一个 CPU、1G 内存、10G 的硬盘、一兆的带宽，你能给他吗？

像这么小规格的电脑，现在随便一个条记本电脑都比这个配置强了，家里随便拉一个宽带都要 100M。
然而如果去一个云打算的平台上，他想要这个资源时，只要一点就有了。

这种情形下它就能达到两个方面的灵巧性：

韶光灵巧性：想什么时候要就什么时候要，须要的时候一点就出来了。
空间灵巧性：想要多少就有多少。
须要一个空间很小的电脑，可以知足；须要一个特殊大的空间例如云盘，云盘给每个人分配的空间动不动就很大很大，随时上传随时有空间，永久用不完，也是可以知足的。

空间灵巧性和韶光灵巧性，即我们常说的云打算的弹性。
而办理这个弹性的问题，经历了漫永劫光的发展。

物理设备不灵巧

第一个阶段是物理设备期间。
这个期间客户须要一台电脑，我们就买一台放在数据中央里。

物理设备当然是越来越牛：

例如做事器，内存动不动便是百 G 内存。
例如网络设备，一个端口的带宽就能有几十 G 乃至上百 G。
例如存储，在数据中央至少是 PB 级别的(一个 P 是 1000 个 T，一个 T 是 1000 个 G)。

然而物理设备不能做到很好的灵巧性：

首先是它缺少韶光灵巧性。
不能够达到想什么时候要就什么时候要。
比如买台做事器、买个电脑，都要有采购的韶光。

如果溘然用户见告某个云厂商，说想要开台电脑，利用物理做事器，当时去采购就很难。
与供应商关系好的可能须要一个星期，与供应商关系一样平常的就可能须要采购一个月。

用户等了良久电脑才到位，这时用户还要登录上去逐步开始支配自己的运用。
韶光灵巧性非常差。

其次是它的空间灵巧性也弗成。
例如上述的用户须要一个很小很小的电脑，但现在哪还有这么小型号的电脑？不能为了知足用户只要一个 G 的内存、80G 硬盘的，就去买一个这么小的机器。

但是如果买一个大的，又会由于电脑大，须要向用户多收钱，可用户须要用的只有那么小一点，以是多付钱就很冤。

虚拟化灵巧多了

有人就想办法了。
第一个办法便是虚拟化。
用户不是只要一个很小的电脑么？

数据中央的物理设备都很强大，我可以从物理的 CPU、内存、硬盘中虚拟出一小块来给客户，同时也可以虚拟出一小块来给其他客户。

每个客户只能看到自己的那一小块，但实在每个客户用的是全体大的设备上的一小块。

虚拟化的技能使得不同客户的电脑看起来是隔离的。
也便是我看着彷佛这块盘便是我的，你看着这块盘便是你的，但实际情形可能我的这个 10G 和你的这个 10G 是落在同样一个很大很大的存储上。

而且如果事先物理设备都准备好，虚拟化软件虚拟出一个电脑是非常快的，基本上几分钟就能办理。
以是在任何一个云上要创建一台电脑，一点几分钟就出来了，便是这个道理。

这样空间灵巧性和韶光灵巧性就基本办理了。

虚拟天下的赢利与情怀

在虚拟化阶段，最牛的公司是 VMware。
它是实现虚拟化技能比较早的一家公司，可以实现打算、网络、存储的虚拟化。

这家公司很牛，性能做得非常好，虚拟化软件卖得也非常好，赚了好多的钱，后来让 EMC(天下五百强，存储厂商第一品牌)给收购了。

但这个天下上还是有很多有情怀的人的，尤其是程序员里面。
有情怀的人喜好做什么事情？开源。

这个天下上很多软件都是有闭源就有开源，源便是源代码。
也便是说，某个软件做的好，所有人都爱用，但这个软件的代码被我封闭起来，只有我公司知道，其他人不知道。

如果其他人想用这个软件，就要向我付钱，这就叫闭源。
但天下上总有一些大牛看不惯钱都让一家赚了去的情形。
大牛们以为，这个技能你会我也会；你能开拓出来，我也能。

我开拓出来便是不收钱，把代码拿出来分享给大家，全天下谁用都可以，所有的人都可以享受到好处，这个叫做开源。

比如最近的蒂姆·伯纳斯·李便是个非常有情怀的人。
2017 年，他因“发明万维网、第一个浏览器和使万维网得以扩展的基本协议和算法”而得到 2016 年度的图灵奖。

图灵奖便是打算机界的诺贝尔奖。
然而他最令人敬佩的是，他将万维网，也便是我们常见的 WWW 技能无偿贡献给全天下免费利用。

我们现在在网上的所有行为都该当感谢他的功劳，如果他将这个技能拿来收钱，该当和比尔盖茨差不多有钱。

开源和闭源的例子有很多：例如在闭源的天下里有 Windows，大家用 Windows 都得给微软付钱；开源的天下里面就涌现了 Linux。

比尔盖茨靠 Windows、Office 这些闭源的软件赚了很多钱，称为天下首富，就有大牛开拓了其余一种操作系统 Linux。

很多人可能没有听说过 Linux，很多后台的做事器上跑的程序都是 Linux 上的，比如大家享受双十一，无论是淘宝、京东、考拉……支撑双十一抢购的系统都是跑在 Linux 上的。

再如有 Apple 就有安卓。
Apple 市值很高，但是苹果系统的代码我们是看不到的，于是就有大牛写了安卓手机操作系统。

以是大家可以看到险些所有的其他手机厂商，里面都装安卓系统。
缘故原由便是苹果系统不开源，而安卓系统大家都可以用。

在虚拟化软件也一样，有了 VMware，这个软件非常贵。
那就有大牛写了两个开源的虚拟化软件，一个叫做 Xen，一个叫做 KVM，如果不做技能的，可以不用管这两个名字，但是后面还是会提到。

虚拟化的半自动和云打算的全自动

要说虚拟化软件办理了灵巧性问题，实在并不全对。
由于虚拟化软件一样平常创建一台虚拟的电脑，是须要人工指定这台虚拟电脑放在哪台物理机上的。

这一过程可能还须要比较繁芜的人工配置。
以是利用 VMware 的虚拟化软件，须要考一个很牛的证书，而能拿到这个证书的人，薪资是相称高，也可见其繁芜程度。

以是仅仅凭虚拟化软件所能管理的物理机的集群规模都不是特殊大，一样平常在十几台、几十台、最多百台这么一个规模。

这一方面会影响韶光灵巧性：虽然虚拟出一台电脑的韶光很短，但是随着集群规模的扩大，人工配置的过程越来越繁芜，越来越耗时。

另一方面也影响空间灵巧性：当用户数量多时，这点集群规模，还远达不到想要多少要多少的程度，很可能这点资源很快就用完了，还得去采购。

以是随着集群的规模越来越大，基本都是千台起步，动辄上万台、乃至几十上百万台。
如果去查一下 BAT，包括网易、谷歌、亚马逊，做事器数目都大的吓人。

这么多机器要靠人去选一个位置放这台虚拟化的电脑并做相应的配置，险些是不可能的事情，还是须要机器去做这个事情。

人们发明了各种各样的算法来做这个事情，算法的名字叫做调度(Scheduler)。

普通一点说，便是有一个调度中央，几千台机器都在一个池子里面，无论用户须要多少 CPU、内存、硬盘的虚拟电脑，调度中央会自动在大池子里面找一个能够知足用户需求的地方，把虚拟电脑启动起来做好配置，用户就直接能用了。

这个阶段我们称为池化或者云化。
到了这个阶段，才可以称为云打算，在这之前都只能叫虚拟化。

云打算的私有与公有

云打算大致分两种：一个是私有云，一个是公有云，还有人把私有云和公有云连接起来称为稠浊云，这里暂且不说这个。

私有云：把虚拟化和云化的这套软件支配在别人的数据中央里面。
利用私有云的用户每每很有钱，自己买地建机房、自己大班事器，然后让云厂商支配在自己这里。

VMware 后来除了虚拟化，也推出了云打算的产品，并且在私有云市场赚的盆满钵满。

公有云：把虚拟化和云化软件支配在云厂商自己数据中央里面的，用户不须要很大的投入，只要注册一个账号，就能在一个网页上点一下创建一台虚拟电脑。

例如 AWS 即亚马逊的公有云；海内的阿里云、腾讯云、网易云等。

亚马逊为什么要做公有云呢？我们知道亚马逊原来是国外比较大的一个电商，它做电商时也肯定会碰着类似双十一的场景：在某一个时候大家都冲上来买东西。

昔时夜家都冲上买东西时，就特殊须要云的韶光灵巧性和空间灵巧性。
由于它不能时候准备好所有的资源，那样太摧残浪费蹂躏了。
但也不能什么都不准备，看着双十一这么多用户想买东西登不上去。

以是须要双十一时，就创建一大批虚拟电脑来支撑电商运用，过了双十几次再三把这些资源都开释掉去干别的。
因此亚马逊是须要一个云平台的。

然而商用的虚拟化软件实在是太贵了，亚马逊总不能把自己在电商赚的钱全部给了虚拟化厂商。

于是亚马逊基于开源的虚拟化技能，如上所述的 Xen 或者 KVM，开拓了一套自己的云化软件。
没想到亚马逊后来电商越做越牛，云平台也越做越牛。

由于它的云平台须要支撑自己的电商运用；而传统的云打算厂商多为 IT 厂商出身，险些没有自己的运用，以是亚马逊的云平台对运用更加友好，迅速发展成为云打算的第一品牌，赚了很多钱。

在亚马逊公布其云打算平台财报之前，人们都预测，亚马逊电商赢利，云也赢利吗？后来一公布财报，创造不是一样平常的赢利。
仅仅去年，亚马逊 AWS 年营收达 122 亿美元，运营利润 31 亿美元。

云打算的赢利与情怀

公有云的第一名亚马逊过得很爽，第二名 Rackspace 过得就一样平常了。
没办法，这便是互联网行业的残酷性，多是赢者通吃的模式。
以是第二名如果不是云打算行业的，很多人可能都没听过了。

第二名就想，我干不过老大怎么办呢？开源吧。
如上所述，亚马逊虽然利用了开源的虚拟化技能，但云化的代码是闭源的。

很多想做又做不了云化平台的公司，只能眼巴巴的看着亚马逊挣大钱。
Rackspace 把源代码一公开，全体行业就可以一起把这个平台越做越好，兄弟们大家一起上，和老大拼了。

于是 Rackspace 和美国航空航天局互助创办了开源软件 OpenStack，如上图所示 OpenStack 的架构图，不是云打算行业的不用弄懂这个图。

但能够看到三个关键字：Compute 打算、Networking 网络、Storage 存储。
还是一个打算、网络、存储的云化管理平台。

当然第二名的技能也是非常棒的，有了 OpenStack 之后，果真像 Rackspace 想的一样，所有想做云的大企业都疯了，你能想象到的所有如雷贯耳的大型 IT 企业：IBM、惠普、戴尔、华为、遐想等都疯了。

原来云平台大家都想做，看着亚马逊和 VMware 赚了这么多钱，眼巴巴看着没办法，想自己做一个彷佛难度还挺大。

现在好了，有了这样一个开源的云平台 OpenStack，所有的 IT 厂商都加入到这个社区中来，对这个云平台进行贡献，包装本钱身的产品，连同自己的硬件设备一起卖。

有的做了私有云，有的做了公有云，OpenStack 已经成为开源云平台的事实标准。

IaaS，资源层面的灵巧性

随着 OpenStack 的技能越来越成熟，可以管理的规模也越来越大，并且可以有多个 OpenStack 集群支配多套。

比如北京支配一套、杭州支配两套、广州支配一套，然后进行统一的管理。
这样全体规模就更大了。

在这个规模下，对付普通用户的感知来讲，基本能够做到想什么时候要就什么时候要，想要多少就要多少。

还是拿云盘举例子，每个用户云盘都分配了 5T 乃至更大的空间，如果有 1 亿人，那加起来空间多大啊。

实在背后的机制是这样的：分配你的空间，你可能只用了个中很少一点，比如说它分配给你了 5 个 T，这么大的空间仅仅是你看到的，而不是真的就给你了。

你实在只用了 50 个 G，则真实给你的便是 50 个 G，随着你文件的不断上传，分给你的空间会越来越多。

昔时夜家都上传，云平台创造快满了的时候(例如用了 70%)，会采购更多的做事器，扩充背后的资源，这个对用户是透明的、看不到的。

从觉得上来讲，就实现了云打算的弹性。
实在有点像银行，给储户的觉得是什么时候取钱都有，只要不同时挤兑，银行就不会垮。

总结

到了这个阶段，云打算基本上实现了韶光灵巧性和空间灵巧性；实现了打算、网络、存储资源的弹性。

打算、网络、存储我们常称为根本举动步伐 Infranstracture, 因而这个阶段的弹性称为资源层面的弹性。

管理资源的云平台，我们称为根本举动步伐做事，也便是我们常听到的 IaaS（Infranstracture As A Service）。

云打算不只管资源，也要管运用

有了 IaaS，实现了资源层面的弹性就够了吗？显然不是，还有运用层面的弹性。

这里举个例子：比如说实现一个电商的运用，平时十台机器就够了，双十一须要一百台。
你可能以为很好办啊，有了 IaaS，新创建九十台机器就可以了啊。

但 90 台机器创建出来是空的，电商运用并没有放上去，只能让公司的运维职员一台一台的弄，须要很永劫光才能安装好的。

虽然资源层面实现了弹性，但没有运用层的弹性，依然灵巧性是不足的。
有没有方法办理这个问题呢？

人们在 IaaS 平台之上又加了一层，用于管理资源以上的运用弹性的问题，这一层常日称为 PaaS（Platform As A Service）。

这一层每每比较难明得，大致分两部分：一部分笔者称为“你自己的运用自动安装”，一部分笔者称为“通用的运用不用安装”。

自己的运用自动安装：比如电商运用是你自己开拓的，除了你自己，其他人是不知道怎么安装的。

像电商运用，安装时须要配置支付宝或者微信的账号，才能使别人在你的电商上买东西时，付的钱是打到你的账户里面的，除了你，谁也不知道。

以是安装的过程平台帮不了忙，但能够帮你做得自动化，你须要做一些事情，将自己的配置信息融入到自动化的安装过程中方可。

比如上面的例子，双十一新创建出来的 90 台机器是空的，如果能够供应一个工具，能够自动在这新的 90 台机器年夜将电商运用安装好，就能够实现运用层面的真正弹性。

例如 Puppet、Chef、Ansible、Cloud Foundary 都可以干这件事情，最新的容器技能 Docker 能更好的干这件事情。

通用的运用不用安装：所谓通用的运用，一样平常指一些繁芜性比较高，但大家都在用的，例如数据库。
险些所有的运用都会用数据库，但数据库软件是标准的，虽然安装和掩护比较繁芜，但无论谁安装都是一样。

这样的运用可以变成标准的 PaaS 层的运用放在云平台的界面上。
当用户须要一个数据库时，一点就出来了，用户就可以直接用了。

有人问，既然谁安装都一个样，那我自己来好了，不须要费钱在云平台上买。
当然不是，数据库是一个非常难的东西，光 Oracle 这家公司，靠数据库就能赚这么多钱。
买 Oracle 也是要花很多钱的。

然而大多数云平台会供应 MySQL 这样的开源数据库，又是开源，钱不须要花这么多了。

但掩护这个数据库，却须要专门招一个很大的团队，如果这个数据库能够优化到能够支撑双十一，也不是一年两年能够搞定的。

比如您是一个做单车的，当然没必要招一个非常大的数据库团队来干这件事情，本钱太高了，该当交给云平台来做这件事情。

专业的事情专业的人来做，云平台专门养了几百人掩护这套系统，您只要专注于您的单车运用就可以了。

要么是自动支配，要么是不用支配，总的来说便是运用层你也要少操心，这便是 PaaS 层的主要浸染。

虽说脚本的办法能够办理自己的运用的支配问题，然而不同的环境千差万别，一个脚本每每在一个环境上运行精确，到另一个环境就禁绝确了。

而容器是能更好地办理这个问题。

容器是 Container，Container 另一个意思是集装箱，实在容器的思想便是要变成软件交付的集装箱。
集装箱的特点：一是封装，二是标准。

在没有集装箱的时期，假设将货色从 A 运到 B，中间要经由三个码头、换三次船。

每次都要将货色卸下船来，摆得杂乱无章，然后搬上船重新整洁摆好。
因此在没有集装箱时，每次换船，船员们都要在岸上待几天才能走。

有了集装箱往后，所有的货色都打包在一起了，并且集装箱的尺寸全部同等，以是每次换船时，一个箱子整体搬过去就行了，小时级别就能完成，船员再也不用上岸永劫光耽搁了。

这是集装箱“封装”、“标准”两大特点在生活中的运用。

那么容器如何对运用打包呢？还是要学习集装箱。
首先要有个封闭的环境，将货色封装起来，让货色之间互不滋扰、相互隔离，这样装货卸货才方便。
好在 Ubuntu 中的 LXC 技能早就能做到这一点。

封闭的环境紧张利用了两种技能：

看起来是隔离的技能，称为 Namespace，也即每个 Namespace 中的运用看到的是不同的 IP 地址、用户空间、程号等。
用起来是隔离的技能，称为 Cgroups，也即明明整台机器有很多的 CPU、内存，而一个运用只能用个中的一部分。

所谓的镜像，便是将你焊好集装箱的那一刻，将集装箱的状态保存下来，就像孙悟空说：“定”，集装箱里面就定在了那一刻，然后将这一刻的状态保存成一系列文件。

这些文件的格式是标准的，谁看到这些文件都能还原当时定住的那个时候。
将镜像还原成运行时的过程（便是读取镜像文件，还原那个时候的过程），便是容器运行的过程。

有了容器，使得 PaaS 层对付用户自身运用的自动支配变得快速而优雅。

大数据拥抱云打算

在 PaaS 层中一个繁芜的通用运用便是大数据平台。
大数据是如何一步一步融入云打算的呢？

数据不大也包含聪慧

一开始这个大数据并不大。
原来才有多少数据？现在大家都去看电子书，上网看***了，在我们 80 后小时候，信息量没有那么大，也就看看书、看看报，一个星期的报纸加起来才有多少字？

如果你不在一个大城市，一个普通的学校的图书馆加起来也没几个书架，是后来随着信息化的到来，信息才会越来越多。

首先我们来看一下大数据里面的数据，就分三种类型：

构造化的数据：即有固定格式和有限长度的数据。
例如填的表格便是构造化的数据，国籍：中华公民共和国，民族：汉，性别：男，这都叫构造化数据。
非构造化的数据：现在非构造化的数据越来越多，便是不定长、无固定格式的数据，例如网页，有时候非常长，有时候几句话就没了；例如语音，***都是非构造化的数据。
半构造化数据：是一些 XML 或者 HTML 的格式的，不从事技能的可能不理解，但也没有关系。

实在数据本身不是有用的，必须要经由一定的处理。
例如你每天跑步带个手环网络的也是数据，网上这么多网页也是数据，我们称为 Data。

数据本身没有什么用途，但数据里面包含一个很主要的东西，叫做信息（Information）。

数据十分凌乱，经由梳理和洗濯，才能够称为信息。
信息会包含很多规律，我们须要从信息中将规律总结出来，称为知识（Knowledge），而知识改变命运。

信息是很多的，但有人看到了信息相称于白看，但有人就从信息中看到了电商的未来，有人看到了直播的未来，以是人家就牛了。

如果你没有从信息中提取出知识，每天看朋友圈也只能在互联网滚滚大潮中做个看客。

有了知识，然后利用这些知识去运用于实战，有的人会做得非常好，这个东西叫做聪慧（Intelligence）。

有知识并不一定有聪慧，例如好多学者很有知识，已经发生的事情可以从各个角度剖析得条理分明，但一到实干就歇菜，并不能转化成为聪慧。

而很多的创业家之以是伟大，便是通过得到的知识运用于实践，末了做了很大的买卖。

以是数据的运用分这四个步骤：数据、信息、知识、聪慧。

终极的阶段是很多商家都想要的。
你看我网络了这么多的数据，能不能基于这些数据来帮我做下一步的决策，改进我的产品。

例如让用户看***的时候阁下弹出广告，恰好是他想买的东西；再如让用户听音乐时，其余推举一些他非常想听的其他音乐。

用户在我的运用或者网站上随便点点鼠标，输入笔墨对我来说都是数据，我便是要将个中某些东西提取出来、辅导实践、形成聪慧，让用户陷入到我的运用里面不可自拔，上了我的网就不想离开，手一直地点、一直地买。

很多人说双十一我都想断网了，我老婆在上面不断地买买买，买了 A 又推举 B，老婆大人说，“哎呀，B 也是我喜好的啊，老公我要买”。

你说这个程序怎么这么牛，这么有聪慧，比我还理解我老婆，这件事情是怎么做到的呢？

数据如何升华为聪慧

数据的处理分以下几个步骤，完成了才末了会有聪慧：

数据网络数据传输数据存储数据处理和剖析数据检索和挖掘

数据网络

首先得有数据，数据的网络有两个办法：

拿，专业点的说法叫抓取或者爬取。
例如搜索引擎便是这么做的：它把网上的所有的信息都***到它的数据中央，然后你一搜才能搜出来。

比如你去搜索的时候，结果会是一个列表，这个列表为什么会在搜索引擎的公司里面？便是由于他把数据都拿下来了，但是你一点链接，点出来这个网站就不在搜索引擎它们公司了。

比如说新浪有个***，你拿百度搜出来，你不点的时候，那一页在百度数据中央，一点出来的网页便是在新浪的数据中央了。

推送，有很多终端可以帮我网络数据。
比如说小米手环，可以将你每天跑步的数据，心跳的数据，就寝的数据都上传到数据中央里面。

数据传输

一样平常会通过行列步队办法进行，由于数据量实在是太大了，数据必须经由处理才会有用。
可系统处理不过来，只好排好队，逐步处理。

数据存储

现在数据便是金钱，节制了数据就相称于节制了钱。
要不然网站怎么知道你想买什么？

便是由于它有你历史的交易数据，这个信息可不能给别人，十分宝贵，以是须要存储下来。

数据处理和剖析

上面存储的数据是原始数据，原始数据多是凌乱无章的，有很多垃圾数据在里面，因而须要洗濯和过滤，得到一些高质量的数据。

对付高质量的数据，就可以进行剖析，从而对数据进行分类，或者创造数据之间的相互关系，得到知识。

比如盛传的沃尔玛超市的啤酒和尿布的故事，便是通过对人们的购买数据进行剖析，创造了男人一样平常买尿布的时候，会同时购买啤酒。

这样就创造了啤酒和尿布之间的相互关系，得到知识，然后运用到实践中，将啤酒和尿布的柜台弄的很近，就得到了聪慧。

数据检索和挖掘

检索便是搜索，所谓外事未定问 Google，内事未定问百度。
内外两大搜索引擎都是将剖析后的数据放入搜索引擎，因此人们想探求信息的时候，一搜就有了。

其余便是挖掘，仅仅搜索出来已经不能知足人们的哀求了，还须要从信息中挖掘出相互的关系。

比如财经搜索，当搜索某个公司股票的时候，该公司的高管是不是也该当被挖掘出来呢？

如果仅仅搜索出这个公司的股票创造涨的特殊好，于是你就去买了，其时其高管发了一个声明，对股票十分不利，第二天就跌了，这不坑害广大股民么？以是通过各种算法挖掘数据中的关系，形成知识库，十分主要。

大数据时期，众人拾柴火焰高

当数据量很小时，很少的几台机器就能办理。
逐步的，当数据量越来越大，最牛的做事器都办理不了问题时，怎么办呢？

这时就要聚合多台机器的力量，大家同心协力一起把这个事搞定，众人拾柴火焰高。

对付数据的网络：就 IoT 来讲，表面支配着成千上万的检测设备，将大量的温度、湿度、监控、电力等数据统统网络上来；就互联网网页的搜索引擎来讲，须要将全体互联网所有的网页都***下来。

这显然一台机器做不到，须要多台机器组成网络爬虫系统，每台机器***一部分，同时事情，才能在有限的韶光内，将海量的网页***完毕。

对付数据的传输：一个内存里面的行列步队肯定会被大量的数据挤爆掉，于是就产生了基于硬盘的分布式行列步队，这样行列步队可以多台机器同时传输，随你数据量多大，只要我的行列步队足够多，管道足够粗，就能够撑得住。

对付数据的存储：一台机器的文件系统肯定是放不下的，以是须要一个很大的分布式文件系统来做这件事情，把多台机器的硬盘打成一块大的文件系统。

对付数据的剖析：可能须要对大量的数据做分解、统计、汇总，一台机器肯定搞不定，处理到猴年马月也剖析不完。

于是就有分布式打算的方法，将大量的数据分成小份，每台机器处理一小份，多台机器并行处理，很快就能算完。

例若有名的 Terasort 对 1 个 TB 的数据排序，相称于 1000G，如果单机处理，怎么也要几个小时，但并行处理 209 秒就完成了。

以是说什么叫做大数据？说白了便是一台机器干不完，大家一起干。

可是随着数据量越来越大，很多不大的公司都须要处理相称多的数据，这些小公司没有这么多机器可怎么办呢？

大数据须要云打算，云打算须要大数据

说到这里，大家想起云打算了吧。
当想要干这些活时，须要很多的机器一块做，真的是想什么时候要就什么时候要，想要多少就要多少。

例如大数据剖析公司的财务情形，可能一周剖析一次，如果要把这一百台机器或者一千台机器都在那放着，一周用一次非常摧残浪费蹂躏。

那能不能须要打算的时候，把这一千台机器拿出来；不算的时候，让这一千台机器去干别的事情？

谁能做这个事儿呢？只有云打算，可以为大数据的运算供应资源层的灵巧性。

而云打算也会支配大数据放到它的 PaaS 平台上，作为一个非常非常主要的通用运用。

由于大数据平台能够使得多台机器一起干一个事儿，这个东西不是一样平常人能开拓出来的，也不是一样平常人玩得转的，怎么也得雇个几十上百号人才能把这个玩起来。

以是说就像数据库一样，还是须要有一帮专业的人来玩这个东西。
现在公有云上基本上都会有大数据的办理方案了。

一个小公司须要大数据平台的时候，不须要采购一千台机器，只要到公有云上一点，这一千台机器都出来了，并且上面已经支配好了的大数据平台，只要把数据放进去算就可以了。

云打算须要大数据，大数据须要云打算，二者就这样结合了。

人工智能拥抱大数据

机器什么时候才能懂民气

虽说有了大数据，人的希望却不能够知足。
虽说在大数据平台里面有搜索引擎这个东西，想要什么东西一搜就出来了。

但也存在这样的情形：我想要的东西不会搜，表达不出来，搜索出来的又不是我想要的。

例如音乐软件推举了一首歌，这首歌我没听过，当然不知道名字，也没法搜。
但是软件推举给我，我的确喜好，这便是搜索做不到的事情。

当人们利用这种运用时，会创造机器知道我想要什么，而不是说当我想要时，去机器里面搜索。
这个机器真像我的朋友一样懂我，这就有点人工智能的意思了。

人们很早就在想这个事情了。
最早的时候，人们想象，假如有一堵墙，墙后面是个机器，我给它说话，它就给我回应。

如果我觉得不出它那边是人还是机器，那它就真的是一个人工智能的东西了。

让机器学会推理

怎么才能做到这一点呢？人们就想：我首先要见告打算机人类推理的能力。
你看人主要的是什么？人和动物的差异在什么？便是能推理。

假如把我这个推理的能力见告机器，让机器根据你的提问，推理出相应的回答，这样多好？

实在目前人们逐步地让机器能够做到一些推理了，例如证明数学公式。
这是一个非常让人惊喜的一个过程，机器竟然能够证明数学公式。

但逐步又创造这个结果也没有那么令人惊喜。
由于大家创造了一个问题：数学公式非常严谨，推理过程也非常严谨，而且数学公式很随意马虎拿机器来进行表达，程序也相对随意马虎表达。

然而人类的措辞就没这么大略了。
比如本日晚上，你和你女朋友约会，你女朋友说：如果你早来，我没来，你等着；如果我早来，你没来，你等着！

这个机器就比较难明得了，但人都懂。
以是你和女朋友约会，是不敢迟到的。

教给机器知识

因此，仅仅见告机器严格的推理是不足的，还要见告机器一些知识。
但见告机器知识这个事情，一样平常人可能就做不来了。
可能专家可以，比如措辞领域的专家或者财经领域的专家。

措辞领域和财经领域知识能不能表示成像数学公式一样轻微严格点呢？例如措辞专家可能会总结出主谓宾定状补这些语法规则，主语后面一定是谓语，谓语后面一定是宾语，将这些总结出来，并严格表达出来不就行了吗？

后来创造这个弗成，太难总结了，措辞表达千变万化。
就拿主谓宾的例子，很多时候在口语里面就省略了谓语，别人问：你谁啊？我回答：我刘超。

但你不能规定在语音语义识别时，哀求对着机器说标准的书面语，这样还是不足智能，就像罗永浩在一次演讲中说的那样，每次对动手机，用书面语说：请帮我呼叫某某某，这是一件很尴尬的事情。

人工智能这个阶段叫做专家系统。
专家系统不易成功，一方面是知识比较难总结，另一方面总结出来的知识难以教给打算机。

由于你自己还迷迷糊糊，以为彷佛有规律，便是说不出来，又怎么能够通过编程教给打算机呢？

算了，教不会你自己学吧

于是人们想到：机器是和人完备不一样的物种，干脆让机器自己学习好了。

机器怎么学习呢？既然机器的统计能力这么强，基于统计学习，一定能从大量的数字中创造一定的规律。

其实在娱乐圈有很好的一个例子，可窥一斑：

有一位网友统计了有名歌手在大陆发行的 9 张专辑中 117 首歌曲的歌词，同一词语在一首歌涌现只算一次，形容词、名词和动词的前十名如下表所示（词语后面的数字是涌现的次数）：

如果我们随便写一串数字，然后按照数位依次在形容词、名词和动词中取出一个词，连在一起会怎么样呢？

例如取圆周率 3.1415926，对应的词语是：倔强，路，飞，自由，雨，埋，迷惘。

轻微连接和润色一下：

倔强的孩子依然前行在路上伸开翅膀飞向自由让雨水埋葬他的迷惘

是不是有点觉得了？当然，真正基于统计的学习算法比这个大略的统计繁芜得多。

然而统计学习比较随意马虎理解大略的干系性：例如一个词和另一个词总是一起涌现，两个词该当有关系；而无法表达繁芜的干系性。

并且统计方法的公式每每非常繁芜，为了简化打算，常常做出各种独立性的假设，来降落公式的打算难度，然而现实生活中，具有独立性的事宜是相对较少的。

仿照大脑的事情办法

于是人类开始从机器的天下，反思人类的天下是怎么事情的。

人类的脑筋里面不是存储着大量的规则，也不是记录着大量的统计数据，而是通过神经元的触发实现的。

每个神经元有从其他神经元的输入，当吸收到输入时，会产生一个输出来刺激其他神经元。
于是大量的神经元相互反应，终极形成各种输出的结果。

例如当人们看到美女瞳孔会放大，绝不是大脑根据身材比例进行规则判断，也不是将人生中看过的所有的美女都统计一遍，而是神经元从视网膜触发到大脑再回到瞳孔。

在这个过程中，实在很难总结出每个神经元对终极的结果起到了哪些浸染，反正便是起浸染了。

于是人们开始用一个数学单元仿照神经元。

这个神经元有输入，有输出，输入和输出之间通过一个公式来表示，输入根据主要程度不同(权重)，影响着输出。

于是将 n 个神经元通过像一张神经网络一样连接在一起。
n 这个数字可以很大很大，所有的神经元可以分成很多列，每一列很多个排列起来。

每个神经元对付输入的权重可以都不相同，从而每个神经元的公式也不相同。
当人们从这张网络中输入一个东西的时候，希望输出一个对人类来讲精确的结果。

例如上面的例子，输入一个写着 2 的图片，输出的列表里面第二个数字最大，实在从机器来讲，它既不知道输入的这个图片写的是 2，也不知道输出的这一系列数字的意义，没紧要，人知道意义就可以了。

正如对付神经元来说，他们既不知道视网膜看到的是美女，也不知道瞳孔放大是为了看的清楚，反正看到美女，瞳孔放大了，就可以了。

对付任何一张神经网络，谁也不敢担保输入是 2，输出一定是第二个数字最大，要担保这个结果，须要演习和学习。

毕竟看到美女而瞳孔放大也是人类很多年进化的结果。
学习的过程便是，输入大量的图片，如果结果不是想要的结果，则进行调度。

如何调度呢？便是每个神经元的每个权重都向目标进行微调，由于神经元和权重实在是太多了，以是整张网络产生的结果很难表现出非此即彼的结果，而是向着结果微微地进步，终极能够达到目标结果。

当然，这些调度的策略还是非常有技巧的，须要算法的高手来仔细的调度。
正如人类见到美女，瞳孔一开始没有放大到能看清楚，于是美女跟别人跑了，下次学习的结果是瞳孔放大一点点，而不是放大鼻孔。

没道理但做得到

听起来也没有那么有道理，但的确能做到，便是这么任性！

神经网络的普遍性定理是这样说的，假设某个人给你某种繁芜奇特的函数，f(x)：

不管这个函数是什么样的，总会确保有个神经网络能够对任何可能的输入 x，其值 f(x)（或者某个能够准确的近似）是神经网络的输出。

如果在函数代表着规律，也意味着这个规律无论多么奇妙，多么不能理解，都是能通过大量的神经元，通过大量权重的调度，表示出来的。

人工智能的经济学阐明

这让我想到了经济学，于是比较随意马虎理解了。

我们把每个神经元当成社会中从事经济活动的个体。
于是神经网络相称于全体经济社会，每个神经元对付社会的输入，都有权重的调度，做出相应的输出。

比如人为涨了、菜价涨了、股票跌了，我该当怎么办、怎么花自己的钱。
这里面没有规律么？肯定有，但是详细什么规律呢？很难说清楚。

基于专家系统的经济属于操持经济。
全体经济规律的表示不肯望通过每个经济个体的独立决策表现出来，而是希望通过专家的居高临下和远见卓识总结出来。
但专家永久不可能知道哪个城市的哪个街道短缺一个卖甜豆腐脑的。

于是专家说该当产多少钢铁、产多少馒头，每每间隔公民生活的真正需求有较大的差距，就算全体操持书写个几百页，也无法表达隐蔽在公民生活中的小规律。

基于统计的宏不雅观调控就靠谱多了，每年统计局都会统计全体社会的就业率、通胀率、GDP 等指标。
这些指标每每代表着很多内在规律，虽然不能精确表达，但是相对靠谱。

然而基于统计的规律总结表达相比拟较粗糙。
比如经济学家看到这些统计数据，可以总结出长期来看房价是涨还是跌、股票长期来看是涨还是跌。

如果经济总体上扬，房价和股票该当都是涨的。
但基于统计数据，无法总结出股票，物价的眇小颠簸规律。

基于神经网络的微不雅观经济学才是对全体经济规律最最准确的表达，每个人对付自己在社会中的输入进行各自的调度，并且调度同样会作为输入反馈到社会中。

想象一下股市行情细微的颠簸曲线，正是每个独立的个体各自不断交易的结果，没有统一的规律可循。

而每个人根据全体社会的输入进行独立决策，当某些成分经由多次演习，也会形成宏不雅观上统计性的规律，这也便是宏不雅观经济学所能看到的。

例如每次货币大量发行，末了房价都会上涨，多次演习后，人们也就都学会了。

人工智能须要大数据

然而，神经网络包含这么多的节点，每个节点又包含非常多的参数，全体参数量实在是太大了，须要的打算量实在太大。

但没有关系，我们有大数据平台，可以汇聚多台机器的力量一起来打算，就能在有限的韶光内得到想要的结果。

人工智能可以做的事情非常多，例如可以鉴别垃圾邮件、鉴别黄色暴力笔墨和图片等。

这也是经历了三个阶段的：

依赖于关键词黑白名单和过滤技能，包含哪些词便是黄色或者暴力的笔墨。
随着这个网络措辞越来越多，词也不断地变革，不断地更新这个词库就有点顾不过来。
基于一些新的算法，比如说贝叶斯过滤等，你不用管贝叶斯算法是什么，但是这个名字你该当听过，这是一个基于概率的算法。
基于大数据和人工智能，进行更加精准的用户画像、文本理解和图像理解。

由于人工智能算法多是依赖于大量的数据的，这些数据每每须要面向某个特定的领域(例如电商，邮箱)进行长期的积累。

如果没有数据，就算有人工智能算法也白搭，以是人工智能程序很少像前面的 IaaS 和 PaaS 一样，将人工智能程序给某个客户安装一套，让客户去用。

由于给某个客户单独安装一套，客户没有干系的数据做演习，结果每每是很差的。

但云打算厂商每每是积累了大量数据的，于是就在云打算厂商里面安装一套，暴露一个做事接口。

比如您想鉴别一个文本是不是涉及黄色和暴力，直接用这个在线做事就可以了。
这种形势的做事，在云打算里面称为软件即做事，SaaS (Software AS A Service)

于是工智能程序作为 SaaS 平台进入了云打算。

基于三者关系的美好生活

终于云打算的三兄弟凑齐了，分别是 IaaS、PaaS 和 SaaS。
以是一样平常在一个云打算平台上，云、大数据、人工智能都能找得到。

一个大数据公司，积累了大量的数据，会利用一些人工智能的算法供应一些做事；一个人工智能公司，也不可能没有大数据平台支撑。

以是，当云打算、大数据、人工智能这样整合起来，便完成了相遇、相识、相知的过程。