随着打算需求的增加，演习它们所需的打算能力的用度也在飙升。
为此，AI公司正在重新考虑如何演习这些天生式AI系统。
在许多情形下，这些策略包括在当前的增长轨迹低落低打算本钱。

演习本钱是如何确定的？

斯坦福大学与研究公司Epoch AI互助，根据云打算租金估算了AI模型的演习本钱。
双方所剖析的关键成分包括模型的演习时长、硬件的利用率和演习硬件的代价。

只管许多人预测，演习AI模型的本钱变得越来越高，但缺少全面的数据来支持这些说法。
而斯坦福大学发布的《2024年AI指数报告》正是支持这些说法的罕见来源之一。

不断膨胀的演习本钱

下表展示了自2017年以来，经通胀调度后的紧张AI模型的培训本钱：

去年，OpenAI的GPT-4培训本钱估计为7840万美元，远高于谷歌PaLM （540B） 的演习本钱。
谷歌PaLM较GPT-4仅早一年推出，但演习本钱为1240万美元。

比较之下，2017年开拓的早期AI模型Transformer的演习本钱为930美元。
该模型在塑造当前所利用的许多大型措辞模型的体系构造方面起着根本性浸染。

谷歌的AI模型Gemini Ultra的演习成更高，达到了惊人的1.91亿美元。
截至2024年初，该模型在几个指标上都超过了GPT-4，最引人瞩目的是在“大规模多任务措辞理解”（MMLU）基准测试中胜出。
这一基准是衡量大型措辞模型能力的主要标尺。
例如，它以评估57个学科领域的知识和解决问题的闇练程度而有名。

演习未来的AI模型

鉴于这些寻衅，AI公司正在探求新的办理方案来演习措辞模型，以应对不断上涨的本钱。

个中的方法有多种，比如创建用于实行特界说务的较小模型，而其他一些公司正在试验创建自家的合成数据来“投喂”AI系统。
但到目前为止，这方面还没有取得明确的打破。

例如，利用合成数据的AI模型有时会“胡言乱语”，引发所谓的“模型崩溃”。