20分钟理解AI根本_数据_样本

2025-01-10 13:24:31 计算机

导读

20分钟理解AI根本_数据_样本计算机

这篇文章紧张针对的是：希望更多理解AI根本知识，又没有太多韶光和精力深入进去；打仗很多AI知识都比较皮毛的朋友。

文章信息

本文作者：James Pei，某头部AI公司总裁，公号「智能化学习与思考」。
数字化企业经授权发布！

大家对AI抱有很高激情亲切，也有很多想象，但没法比较准确地概括出AI，并做出一些判断。
以下知识可能是个很好的开始，不须要太多根本，最多是高中数学就可以，只须要耐心地花上15-20分钟，并随着一起思考，相信对您加深对AI的理解会有一些帮助。

那么，我们开始：

机器学习紧张代价便是学习一个履历E，根据这个学习到的履历E去实行一个任务T，目标是优化实行任务T的表现P。
（此处读几遍，觉得觉得）

比如：在银行，根据数据，AI学习客户表现和客户信用之间的关系，这个关系是履历E；然后为每个客户实时打算更准确的信用卡额度，这个是任务T；目标P是在一定风险承担范围内，增加银行信用卡收入。
（由于之前一刀切的额度变更准则，远远不如AI指定的风雅额度有效率。
）

好了，理解了AI是干什么的，那AI是怎么干呢？

机器学习的根本流程

详细流程如下图，请大家明晰，这七步是在干什么，以什么逻辑和韶光轴。
后续的先容将聚焦在个中一两个步骤。
但我们常常稠浊，比如稠浊AI演习和AI实行任务。

1. 选择算法。
比如，刚才银行的例子，我们先要对客户进行分类找到黑名单，这是分类算法，也要通过客户行为预测他的额度水平，这是回归算法。
前篇对付Transformer的谈论，便是一个最新的高等一些的算法。
2. 准备高质量的数据，并进行特色工程。
常日这些要花费很多韶光，特殊是工业界，每每没有高质量的数据。
这里数据质量有四个层面：一是绝对的数据量，这个好理解。
二是样本数据，比如，在银行风控领域，如果只是交易数据，那不是样本，必须有真正的敲诈数据；比如，在设备管理领域，不但要有设备的运行数据，还要有设备的故障数据，这样机器才可以真正学习。
三是数据的处理效率，对付AI真正有代价的每每是实时数据，这是发挥AI决策最大代价的关键。
四是特色工程，只有数据是不足的，要进行处理，拿出机器可以理解而且有代价的特色才是根本。
最大略的例子便是男、女要分别改成0或1。
特色工程是AI打算最主要的领域，全体深度学习的神经网络可以理解为便是在做数据的特色工程。
3. 对数据用算法进行演习。
这个演习的过程才是让机器有能力实行任务的关键步骤，而且很多打算算法的逻辑也针对的这部分。
我们讲算力是决定性成分，也每每指演习阶段的算力瓶颈。
4. 演习结束一样平常还要做很多测试，确保这个履历是能够应对多种情形，从而真正形成履历E。
5. 履历E要用莅临盆系统，实时地实行任务T。
比如，上面例子中，我们核心任务是对每个用户的信用额度动态调度。
6. 评估实行表现。
AI的表现相对付人工会提升多少，和操持是否有偏差等。
7. 持续优化。
这里的优化是全方位的，既要更新算法，提高数据质量，又要有更拟合的演习结果及更实时地实行任务等。
常常听客户说，AI可能在我们这里落地效果不好。
实在AI在哪里落地，刚开始时效果都不会好，真正让AI起浸染，是须要持续优化。
第四范式的很多AI驱动的客户，也把这一条当做自己主要的核心竞争力，即持续迭代的能力。

机器学习的理论根本

我们先从这个履历E如何演习出来谈起。

假设，这个履历E可以抽象成一个线性关系（当然现实天下不一定是大略的线性关系，这里只是大略化处理），即设Y=f(x)=wx+b，x是银行数据（比如：还款过时率），Y是信用额度。
我们要学习的履历E，便是学习这个f( )，这个观点很主要，建议停下来稍加理解。

要想得到f( )，须要先拿一些样本（也便是我们事先知道一些x数据，以及对应的y）进行演习。

例如：

信用额度

还款过时率

100000

20000

120000

15%

100000

12.4%

80000

35%

我们希望利用这些x到y的样本，反推出f( ）这个线性函数。
如图1：在还款过时率这个x和信用卡额度y这个空间里，我们有个很多样本，须要预测的是这条直线y=wx+b长什么样。

我们可以给机器设置一个规定的步长，穷举出很多y=wx+b。
但该当选择哪个呢？这里要引入：本钱函数 J

本钱函数的大略定义：我们预测的直线到“每个样本的间隔之和”的均匀值。

假设我们选定了一条直线或者说一个f（），那么在X(1) 给定情形下，y（1）是样本对应的数值，是f()得出的数值。
M为样本个数。

这个函数便是这条我们预测的直线到每个样本的间隔之和的均匀值。
即我们该当找到一条直线，它间隔每个样本的均匀间隔最短。
也便是对应本钱函数最低的那个。
这里可能大家有些懵，我们梳理一下：

这里有几个观点：真实天下发生的事宜，被数据记录下来，被记录下来并拿来做样本的，这三个层次是不是逐渐缩小了？再今后，我们演习产生一个y=wx+b，其目标是利用样本数据演习一个规律，从而可以预测真实天下。
简言之，第一件事是演习出很多y=wx+b，第二件是比较哪个y=wx+b更好，第三件是选出那个最好的。

在实际操作中，打算机会算出各种可能的f( )，并算出相对应的本钱函数，这个本钱函数的取值就像图3显示的，是一个弯曲的球面，机器利用规则在探求那个山谷的最低点，也便是本钱函数取值最小那个点，这个点所对应的f()，便是我们要找到的那个。
这种方法便是梯度低落。

因此，打算机学习履历E的过程，便是给定一部分x，y数据（样本），预测总体上f( )长什么样。
利用的方法便是通过梯度低落的方法，找到本钱函数最低的那个f( )。

所谓梯度低落，其事理便是提前设置一个学习率。
学习率是见告打算机该以什么变动频率产生多个f( )用来比较。
如果这个f( )是个线性方程，个中一个学习率便是这个斜率的变革。
比如，机器预测这个方程式y=3x，如果学习率是0.1，那么下一个预测的便是y=3.1x。
机器学习，便是这样每得出一个方程，就打算一个相应的本钱函数，然后通过梯度逐步低落原则，找到本钱函数最小的方程。

通过梯度低落打算后，选出最优f( )，打算机就能够完成任务T。
在例子中便是，如果有新的还款过时率数据，机器可以根据f( )预测相对应的信用卡额度，从而给出更合理的银行客户信用额度，因此提升了银行做事客户效率，带来了信用卡对应收入的提高。

机器学习的数学根本——向量

刚才那个例子，X是还款过时率，也便是说只有一个变量。
但现实生活中，影响信用额度的不但是一个变量。
还会有性别、年事、地区、年薪、存款额、信用卡交易额、违约次数等诸多特色，如下表（图4）。

图4

表格中是两个样本，每个样本都是一组数据，是银行客户的基本画像以及交易行为。
银行客户的信用卡额度该当是这些信息综合决定。

这里每一行数据，称为一个向量；可以表示为：

每个向量里都包含了各种特色数据。

向量是高维空间的某个点，在这个例子中这个高维空间便是由这8个特色种别组成的高维空间。

比较较y=f(x)在二维，y=f( )我们须要在这个高维空间去打算。

这个从y=f(x)到y=f( )的转换非常主要，是一定要理解的观点，全体AI的数学根本都建立在最小的打算单元——向量上。

为什么要升到这个高维度来看数据？这里有个背景，便是我们希望数学公式只管即便是线性方程，而不是多元方程；只有当数据被放到一个非常大的维度中，数据才可以更随意马虎呈现线性关系。

机器学习的进阶——神经网络