我们可以类比我们自己进行学习，并用自己学到的知识进行判断的过程。学习的过程（演习）是这样的，当我们在学校开始学习一门新学科，为了节制大量的知识，我们必须读大量的书、专心听老师讲解，课后我们还要做大量的习题巩固自己对知识的理解，并通过考试来验证学习的结果，当我们考试通过后我们才算是完成了全体学习过程。每次考试，有的同学考分高，有的同学考分低，这个便是学习效果的差别了。当然，如果你不幸考试没有通过，还要连续重新学习，不断提升你对知识的节制程度，直到终极通过考试为止。而判断的过程（推理）如下，我们运用所学的知识进行判断，比如你从医学专业毕业，开始了你治病救人的事情，这时候你对病人病因的判断便是你在做“推理”的事情，你诊断100个病人，个中99个你都能准确的判断出病因，大家都夸你是一个好年夜夫，学有所成、判断准确。
综上，人工智能的这种演习过程和推理过程，和人类大脑学习过程和判断的过程非常相似。常日须要花很永劫光来学习（即演习），而学会之后进行判断（即推理）的韶光只须要一霎时就行了。
2、区分人工智能演习和推理芯片/产品须要关注哪些要点？ 根据承担当务的不同，AI芯片/产品可以分为两类，分别是演习AI芯片和推理AI芯片，他们的紧张差异因此下几点。 大量的演习芯片都在云端，即支配于数据中央内，利用海量的数据和弘大而繁芜的神经网络进行模型演习，这类芯片都很繁芜。目前，除了英伟达、超威、英特尔等芯片公司，谷歌等这些互联网公司都有云端演习芯片，海内华为、寒武纪还有好多初创公司也在做云端演习芯片。 很多的推理芯片也会放置在云端，数据中央中很多做事器都会配置推理用的PCIE插卡，还有大量的推理芯片用在边缘侧（各种数据中央外的设备），如自动驾驶汽车、机器人、智好手机、无人机或物联网设备，它们都是用演习好的模型进行推理。布局云端推理芯片和边缘侧推理芯片的公司更多，产品种类丰富，定制化程度也会高很多。 我们从性能角度评价一个人工智能系统的效果，可以通过准确度/精度这样的指标，比如在100个样本中，能预测了 85 个样本，准确率为 85%，人工智能 算法是基于概率论和统计学的，不可能达到 100% 的预测准确率，并且实现越高的准确度须要付出越大的努力和代价越大。我们常常提到的数据精度，也会直接影响系统准确性，我们可以把数据的精度类比为照片中的像素数，像素越多则分辨率越高，同样，精度越高，表征事物越准确。提高精度也是有代价的，它须要系统供应更多的内存，并要耗费更长的处理韶光，比如有数据证明采取int4精度与int8比较具有59%的加速。 实际运用中，并不是准确度越高越好或支持的数据精度越高越好，不同的运用处景对付性能指标的哀求也是不一样的。以图像识别运用为例，在零售店职员跟踪中，识别经由某个过道的顾客，这种运用5% ~10%的偏差是可以接管的；但是在医疗诊断或汽车视觉的等运用中，准确度的哀求就要高很多，准确度低了就无法运用。总之，不同运用对付准确度和精度的容忍度是不一样的，须要我们进行权衡。 回到推理和演习产品，选择时就有很大差异，比如在边缘侧的推理产品中，由于它对准确度的哀求不高，我们可能只要支持int8乃至更低的精度就可以了。但是演习产品，比如用于高性能打算（HPC）场景中，必须有能力实现高的准确度，支持的数据精度范围也须要更加丰富，比如须要支持FP32、FP64这样精度的数据。10月7日美国对我国新一期的芯片限定法案中，就有一条是对我们支持FP64打算类芯片的研发和生产进行限定。 演习须要密集的打算，通过神经网络算出结果后，如果创造缺点或未达到预期，这时这个缺点会通过网络层反向传播回来（参考 机器学习中的函数（3） - \"大众梯度低落\"大众走捷径，\公众BP算法\"大众提效率 ），该网络须要考试测验做出新的推测，在每一次考试测验中，它都要调度大量的参数，还必须兼顾其它属性。再次做出推测后再次校验，通过一次又一次循环来回，直到其得到“最优”的权重配置，达成预期的精确答案。如今，神经网络繁芜度越来越高，一个网络的参数可以达到百万级以上，因此每一次调度都须要进行大量的打算。曾在斯坦福大学做过研究，在谷歌和百度都任职过的吴恩达这样举例“演习一个百度的汉语语音识别模型不仅须要4TB的演习数据，而且在全体演习周期中还须要20 exaflops（百亿亿次浮点运算）的算力”，演习是一个花费巨量算力的怪兽。 推理是利用演习好的模型，利用新数据推理出各种结论，它是借助神经网络模型进走运算，利用输入的新数据“一次性”得到精确结论的过程，他不须要和演习一样须要循环往来来往的调度参数，因此对算力的需求也会低很多。 演习的时候反向调度会运用到前馈网络打算的中间结果，以是须要很大的显存，演习的芯片存储的设计和利用的方案是繁芜的。演习好的模型，须要利用大量数据，大量数据要读入显存，显存带宽要足够大、时延要足够低。同时，我们在神经网络的演习中利用梯度低落算法，显存中除了加载模型参数，还须要保存梯度信息的中间状态，因此演习比较于推理，显存需求大大增加，显存足够大才能运转起来。
综上，演习和推理的芯片/产品支配的位置不一样，对付性能准确度和精度的哀求不一样，对付算力能力和存储大小的哀求也不一样，除了这些关键指标差异外。用于演习场景的芯片高精度、高吞吐量，因此单芯片功耗大（乃至可以达到300W），这种芯片本钱也很高；用于云端推理的芯片，更加关注算力、时延等的平衡，对功耗本钱也非常敏感。参考英伟达的产品，它每一代产品并没有开拓专门的推理卡，其利用的是演习卡的低配版本来做推理的。但边缘测运用推理芯片，就一定要结合运用处景，做到低功耗、低本钱。
要学习理解人工智能，演习和推理干系的知识是必须都要节制的，如果你只学习了“演习”中如何搭建网络，参数调度等，那么你就无法理解结合实际运用“推理”是如何发挥浸染的，接不了地气；同样，如果你只做过“推理”的操作，那么你也不能理解在实现推理判断之前，须要做哪些准备事情，进行大量的打算，才能演习出一个可用的、好的神经网络。 硬十正在推出两套开源硬件开拓板，分别是基于算能BM1684的“少林派”开拓板和基于算能CV1812H的“西岳派”开拓板。 配套这些开拓板我们会陆续推出一系列课程，持续进行知识分享，和大家一起学习AI技能，理解AI运用，走进AI时期。
