身处AI时期的我们，想必都听过”GPU“、英伟达。
但是真正理解GPU的人，可能并不多。
本文，通过与chatGLM一系列对话，对GPU干系问题,刨根问底，得到了答案。
让我们一起来看看吧…

记得本人刚入行，做私有化交付型的一些AI产品和项目的时候，一些AI算法模型，我们会同时给出CPU版本性能参数和GPU性能参数，有些AI算法做事须要客户自行准备GPU机器，用于算法前期POC测试和运行。
印象最深刻的便是：险些所有涉及到图像处理、CV领域的算法，比如车辆检测、物体检测、人脸识别等都须要GPU机器。
当时，我便是那么去“记”的，也没怎么延误推进产品和项目进度，以是也没穷究到底什么是GPU？、什么是CUDA？

恰逢本人今年4月份，在口试某公司大模型产品经理岗位时（偏技能型），被问到了 “什么是CUDA？”——以是趁有韶光，分享一下~

当前AIGC的时期浪潮已经掀过一翻，目前遗留的最大问题便是：【算力短缺问题】。
以是，未来大力发展“算力”，是大势所趋。
我们AI的从业者们，也可再往深入探究一些，为行业的共同发展和认知遍及，做一些贡献。
——这也是本篇本章产出的另一缘故原由。

一、GPU是啥？干嘛用的？非它不可吗？

众所周知，在【电脑】里，有个充当”脑筋“的东西，叫做：CPU（中心处理单元），它能够进行各种打算任务，包括图像处理和数据剖析。

好，那直接用CPU进行各种运算不就得了，为啥做深度学习、搞AI模型的这帮团队，非得用GPU？

—————一个字：快！
七个字：并行打算，以是快！

好，那下面再穷究一下：

为何GPU就能并行打算了？GPU怎么个并行打算法？GPU的发明，是为理解决什么问题的？

1. GPU的设计初衷——为了加速图形打算和图形渲染

背景：在20世纪90年代，打算机游戏和多媒体内容的兴起，对付能够快速天生繁芜3D图形的硬件需求日益增长，而那时的CPU只能顺序实行指令。

2. 为什么图像图形打算，就非得须要“并走运算“提效呢？

并行打算提效的缘故原由：一个工人一个点一个点喷涂 v.s. 一堆工人同时喷涂。

图形打算与渲染须要打算每个像素点的亮度、颜色等数值，如果一个点一个点顺序实行，那太慢，而并走运算就快很多啦。
——GPU 有多个核。

下面这张图更直接：

3. 为何AI演习、AI推理等深度学习任务，也须要高性能运算？为何选GPU？

在AI推理中，有很多重复性的打算，比如大量的加减乘除运算。

在AI深度学习任务中，建模的目标便是：求解目标函数。
——而目标函数求解，须要求解出每个特色对应的参数。
——比如现在的AI大模型，动不动10亿级别、百亿级别参数量级。

图：目标函数示例

以是，须要提高演习和在线推理性能的东西。
——那有个现成的东西：GPU。
可以拿来即用。

GPU的运用处景，也由最初的”加速图形渲染“，演化到了现在的”通用打算“场景。

二、什么是CUDA？

好了，理解了前面GPU是什么、GPU的设计初衷、GPU能干嘛？（加速图形打算–通用高性能打算：AI演习&AI推理）；

下面再理解一下，什么是CUDA吧？

——CUDA，是在英伟达Ian Buck（CUDA项目卖力人）率领下，于2006年正式推出的环球首款GPU上的通用打算办理方案。
可以理解为，它是一个软件平台，里面包含各种库函数，包括：图形库、数学库、深度学习库、runtime库等；个人理解，CUDA它便是实现AI深度学习任务的一个软件平台或框架，类似的还有Pytorch、Tensorflow。

三、除了英伟达的V100、A100、H100等GPU，还有哪些厂家有哪些GPU？

1. 国外除了英伟达做AI芯片的厂商，还有：

数据来源：chatGLM-2024年7月.

2. 海内做AI算力的厂商，以华为昇腾为主力代表，其它厂家还有：

遂原科技（腾讯投资）、地平线、寒武纪、百度（昆仑芯片）、比特大陆、中科曙光、海光、壁仞科技、摩尔线程（GPU芯片“春晓”）、砺算科技（G100）、象帝先（天钧一号）、智绘微（IDM9系列）、芯动力（RPP-R8）等等；

更多国产算力芯片厂商，可详见这篇文章：GPU国产替代逆流而上 盘点九个值得关注的国产GPU产品（https://new.qq.com/rain/a/20230108A00HNE00），或者自行翻一翻历年的《算力行业研究报告》~

四、本文参考资料

1、一文读懂 GPU 的发展进程：https://juejin.cn/post/7125824952342675464

2、英伟达为什么这么红：说说GPU打算背后的故事：https://new.qq.com/rain/a/20230108A00HNE00

3、GPU国产替代逆流而上 盘点九个值得关注的国产GPU产品：https://new.qq.com/rain/a/20230108A00HNE00

本文由 @南方碟道 原创发布于大家都是产品经理。
未经容许，禁止转载

题图来自Unsplash，基于CC0协议

该文不雅观点仅代表作者本人，大家都是产品经理平台仅供应信息存储空间做事。