我在自己的网站中专门先容过GPU的一些硬件根本知识：https://lulaoshi.info/gpu/gpu-basic/gpu.html。
英伟达为优化深度学习的矩阵运算，在较新的微架构中，专门设计了Tensor Core这样的稠浊精度核心，因此，人工智能演习最好选择带有Tensor Core的GPU。

我和滴滴云有一些互助，没有GPU的朋友可以前往滴滴云上购买GPU/vGPU/机器学习产品，记得输入AI大师码：1936，可享受9折优惠。
GPU产品分时计费，比自己购买硬件更划算，请前往滴滴云官网www.didiyun.com购买。

众所周知，当今业界领先（State-of-the-art）的深度学习模型都会占用巨大的显存空间，很多过去性能算得上强劲的 GPU，现在可能稍显内存不敷。
Lambda实验室2020年2月发布了一篇显卡横向测评文章https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/，磋商了哪些GPU可以在不涌现内存缺点的情形下演习模型，这些显卡更适宜个人电脑和小型事情站。
该篇文章的核心结论是，显存大小非常主要。
是的，显存大小正在制约着很多深度学习模型的演习。

由于深度学习技能的突飞年夜进，以前 12G 内存打天下的局势不复存在了。
2020 年 2 月，你至少须要花费 2500 美元买上一块英伟达最新款的 Titan RTX 才可以勉强跑通业界性能最好的模型，那到今年年底会是什么样就无法想象了。

消费级

对付个人用户，英伟达消费级的GeForce系列是首选。
比较经济的选项有：

GeForce RTX 2080 Ti：1200美元，11GB显存，Turing微架构（支持Tensor Core）Titan RTX：2500美元，24GB显存， Turing微架构（支持Tensor Core）

须要把稳的是，这些消费级显卡对多卡并行支持不好，默认情形，他们不支持多卡间直接通信，如果我们希望卡1和卡2之间相互通信，那么数据通过PCI-E总线在多卡之间通信，这种办法不利于多卡之间的通信。
2080 Ti和Titan RTX对付多卡之间PCI-E通道的P2P（Peer-to-Peer）通信支持并不好，但并不虞味着他们不支持NVLink，用户可以通过购买NVLink桥接器来构建多卡之间的通信通道。
有人称这个问题是这两款GPU的设计毛病，也有人认为英伟达故意为之，为的是让有多卡并行打算需求的人去购买Telsa系列GPU。

企业级

数据中央的GPU产品更贵，适宜企业级用户，它们的显存更高，也可以更好地支持多卡并行。

Quadro RTX 6000：4000美元，24GB显存，Turing微架构（支持Tensor Core）Quadro RTX 8000：5500美元，48GB显存，Turing微架构（支持Tensor Core）Telsa V100：16或32GB显存两个版本，PCI-E和NVLink两个版本，Volta微架构（支持Tensor Core）Telsa V100S：32GB显存，PCI-E总线，Volta微架构（支持Tensor Core）

企业级的GPU一样平常都必须插到做事器或事情站上，这些做事器和事情站本身也不便宜，尤其是支持Telsa平台的做事器在十万元级别。
当然，这里没有考虑机房培植、电费等本钱。

2020年5月英伟达GTC 2020上发布了新一代Ampere微架构以及Telsa A100显卡，A100显卡的人工智能演习和推理能力更强，而且单个A100可以被分割成最多7个独立GPU来处理各种打算任务。

有多卡并行演习任务的朋友，建议选择支持NVLink的Telsa系列显卡。

小结

如果进行深度学习研究，GeForce RTX 2080 Ti（11GB）可能是起步标配；Titan RTX（24GB）是个不错的选项，兼顾了价格、显存和打算性能。
对付企业级用户，Quadro RTX 8000（48GB）、Telsa V100（32GB）等显卡适宜深度学习领域的前沿研究职员。
2020年下半年，英伟达新的打算平台即将出货，新产品一方面会带来更强大的性能，另一方面也会使现有产品贬价。

在物理硬件昂贵确当下，或许我们该当把目光转向云端GPU。