新的开源大型措辞模型——谷歌的 Bard 或 OpenAI 的 ChatGPT 的替代品，它们许可研究职员和运用程序开拓职员对其进行重修和修正。
这些模型频年夜公司创造的类似的人工智能模型更小、更便宜，性能上（险些）与它们相称，而且它们是免费共享的。

谷歌在上周的年度产品展示会上透露，它正在把天生式人工智能运用到它的所有产品中，从 Gmail 到照片再到舆图。
所有大公司都忙着升级自己的产品，却看不到真正的竞争即将到来，塞尔瑙写道：“当我们一贯在争吵的时候，第三个派别已经悄悄地吃掉了我们的午餐。
”

从很多方面来说，这是一件好事。
更广泛地利用这些模型有助于推动创新，也有助于创造它们的毛病。
如果只有几家超级巨子掌握着这项技能或者决定如何利用这项技能，人工智能就不会发达发展。

但是这种开源的繁荣是不稳定的。
大多数开源模型仍旧是站在财力雄厚的大公司推出的巨型模型的肩膀上。
如果 OpenAI 和 Meta 决定收回权限，这个新兴领域可能会变成一滩去世水。

例如，这些开源模型中的许多都是建立在 LLaMA 之上的，LLaMA 是 Meta AI 发布的一个开源大型措辞模型。
其他模型则利用一个名为 Pile 的大型公共数据集，该数据集是由开源非营利组织 EleutherAI 网络的。
但 EleutherAI 的存在只是由于 OpenAI 的开放性，这让一群工程师能够逆向工程 GPT-3 的制作办法，然后在空闲韶光创建了自己的 GPT-3。

“Meta AI 在培训和向研究界发布模型方面做得非常好，”斯特拉·比德曼（Stella Biderman）说。
她是 EleutherAI 的实行董事兼研究主管，同时也在咨询公司 Booz Allen Hamilton 事情。
塞尔瑙在他的备忘录中也强调了 Meta AI 的关键浸染。
谷歌向《麻省理工科技评论》证明，这份备忘录是由一名员工撰写的，但指出它不是一份官方计策文件。

这统统都可能改变。
由于担心竞争，OpenAI 已经改变了之前的开放政策，而且 Meta 可能开始想要掌握新生力量对其开源代码做出不愉快事情的风险。
“诚笃说，我以为现在这样做是精确的，”Meta AI 的董事总经理乔尔•皮诺（Joelle Pineau）在向外界开放代码时说，“但这会是我们未来五年将延续的计策吗？我不知道，由于人工智能发展得太快了。
”

如果这种关闭访问权限的趋势连续下去，那么不仅开源社区将被伶仃，而且下一代人工智能的打破将被完备握在世界上最大、最富有的人工智能实验室手中。

可以说，人工智能的制造和利用办法的未来正处于十字路口。

开源发达发展

开源软件已经存在了几十年，这是互联网生态运行的根本。
但是构建强大模型的本钱意味着开源人工智能直到大约一年前才开始腾飞，它很快就变成了一个富矿。

看看最近几周就知道了。
2023 年 3 月 25 日，倡导免费开放人工智能的初创公司 Hugging Face 推出了首款开源谈天机器人 HuggingChat，对标 ChatGPT 即 OpenAI 于 2022 年 11 月发布的谈天机器人。
HuggingChat 建立在一个名为 Open Assistant 的开源大型措辞模型之上，该模型经由了大约 1.3 万名志愿者的帮助演习，并于一个月前发布。
但是，Open Assistant 本身是建立在 Meta 的 LLaMA 之上的。

然后是 StableLM，这是一个开源的大型措辞模型，由 Stability AI 公司于 3 月 19 日发布，该公司开拓了热门的文本到图像模型 Stable Diffusion。
一周后，也便是 3 月 28 日，Stability AI 发布了 StableVicuna，这是 StableLM 的一个版本，与 Open Assistant 或 HuggingChat 一样，它针对对话进行了优化（StableLM 是 Stability 对 GPT-4 的回应，而 StableVicuna 则对标 ChatGPT）。

这些新的开源模型只是过去几个月发布的一系列模型的一部分，包括 Alpaca（来自斯坦福大学的团队）、Dolly（来自软件公司 Databricks）和 Cerebras-GPT（来自人工智能公司 Cerebras）。
这些模型大多建立在 LLaMA 或 EleutherAI 的数据集和模型上，而 Cerebras-GPT 遵照 DeepMind 设置的模板。
未来肯定还会涌现更多。

对一些人来说，开源是一个原则问题。
人工智能研究员、YouTube 用户扬尼克·基尔彻（Yannic Kilcher）在一段先容 Open Assistant 的***中说：“这是一项环球社区的努力，旨在将对话式人工智能的力量带给每个人……让它摆脱少数大公司的掌握。
”

“我们永久不会放弃为开源人工智能而战，”Hugging Face 的联合创始人朱利安·肖蒙德（Julien Chaumond）曾在推特上写道。

对其他人来说，这是一个利益问题。
Stability AI 希望在谈天机器人上复现它在图片天生上取得的辉煌：推波助澜，然后从利用其产品的开拓职员的创新中受益。
该公司操持充分利用这一创新，并将其重新投入到面向广大客户的定制产品中。
Stability AI 的 CEO 爱马德·莫斯塔克（Emad Mostaque）表示：“我们引发创新，然后进行挑选。
这是天下上最好的商业模式。
”

不管若何，大量免费和开放的大型措辞模型将这项技能推向了天下各地数百万人的手中，勉励了许多人创造新的工具并探索它们的事情事理。
比德曼说：“利用这项技能的路子比以往任何时候都要多。
”

“坦率地说，人们利用这项技能的办法多得令人难以置信，令人愉快，”美国弗里德弗兰克状师事务所的状师阿米尔·加维（Amir Ghavi）表示。
他代表了包括 Stability AI 在内的多家天生式人工智能公司。
“我认为这证明了人类的创造力，而这正是开源的全部意义所在。
”

GPU 融化

但是，从头开始演习大型措辞模型，而不是在现有模型的根本上进行构建或修恰是很困难的。
莫斯塔克说：“绝大多数人仍旧无法做到。
我们在构建 StableLM 时烧坏了一堆 GPU。
”

Stability AI 发布的第一个模型是可以用文本天生图像的 Stable Diffusion 模型，性能与谷歌的 Imagen 和 OpenAI 的 DALL-E 等封闭的同类产品相称。
它不仅可以免费利用，还可以在一台不错的家用电脑上运行。
2022 年，Stable Diffusion 比其他任何模型都更能引发环绕图像制作 AI 的开源开拓的爆炸式增长。

不过，这一次，莫斯塔克想要管理期望：StableLM 与 GPT-4 相差甚远。
“还有很多事情要做，”他说，“它不像 Stable Diffusion 那样，你可以立即得到非常可用的东西。
措辞模型更难演习。
”

另一个问题是，模型越大，演习难度越大。
这不仅仅是算力本钱的问题。
更大的模型更随意马虎导致演习过程中断，须要重新启动，这使得这些模型的构建本钱更高。

比德曼说，在实践中，大多数团队能够演习的参数数量是有上限的。
这是由于大型模型必须在多个不同的 GPU 上进行演习，而将所有硬件连接在一起是很繁芜的。

随着技能的进步，确切的数字会发生变革，但目前，比德曼认为这个上限大约在 60 亿到 100 亿个参数之间。
比较之下，GPT-3 有 1750 亿个参数，LLaMA 有 650 亿。
一样平常来说，越大的模型每每表现得更好，不过关联性也不是 100% 的。

比德曼估量，环绕开源大型措辞模型的活动将持续下去。
但它将集中于扩展或调度一些现有的预演习模型，而不是推动根本技能的发展。
她说：“只有少数几家公司对这些模型进行了预演习，我估量这种情形在不久的将来会保持下去。
”

这便是为什么许多开源模型都是建立在 LLaMA 之上的，LLaMA 是由 Meta AI 从头开始演习的，或者是 EleutherAI 发布的，EleutherAI 是一个非营利组织，在开源技能方面做出了独特的贡献。
比德曼说她只知作别的一个这样的组织，它在中国。

EleutherAI 的起步要感谢 OpenAI。
回到 2020 年，这家总部位于美国旧金山的公司刚刚推出了一款热门的新模型。
“对付很多人来说，GPT-3 改变了他们对大规模人工智能的意见，”比德曼说，“就人们对这些模型的期望而言，这常日被认为是一种智力范式的转变。
”

比德曼和其他一些研究职员为这项新技能的潜力感到愉快，他们想把玩这个模型来更好地理解它是如何事情的，于是他们决定复制它。

OpenAI 那时还没有发布 GPT-3，但它确实分享了足够的信息，让比德曼和同事们弄清楚它是如何构建的。
在 OpenAI 之外，从来没有人演习过这样的模型，但当时正值疫情中期，团队险些没有其他事情可做。
比德曼说：“当我参与进来时，我除了事情，便是和我的妻子一起玩桌游。
以是每周花 10 到 20 个小时来做这件事相对随意马虎。
”

他们的第一步是建立一个弘大的新数据集，个中包含数十亿段文本，以与 OpenAI 用于演习 GPT-3 的数据集相媲美。
EleutherAI 将其数据集称为“Pile”，并于 2020 年底免费发布。

然后，EleutherAI 利用这些数据集来演习它的第一个开源模型。
EleutherAI 演习的最大的模型花了三个半月的韶光，由一家云打算公司资助。
其说：“如果我们自掏腰包，我们将花费大约 40 万美元。
”“这对一个大学研究小组来说太高了。
”

声援之手

由于本钱高昂，在现有模型的根本上构建要随意马虎得多。
Meta AI 的 LLaMA 已经迅速成为许多新开源项目的出发点。
自从十年前由杨立昆（Yann LeCun) 创立以来，Meta AI 一贯方向于开源开拓。
皮诺说，这种心态是文化的一部分：“这是一种非常自由的、‘快速行动、创造东西’的办法。
”

皮诺很清楚这样做的好处，其表示：“这确实让有能力为开拓这项技能做出贡献的人多样化。
这意味着研究职员，企业家或民间组织等也可以看到这些模型。
”

像更广泛的开源社区一样，皮诺和同事们认为透明度该当成为规范。
其表示：“我敦促我的研究职员做的一件事是，在开始一个项目时，就考虑到你想要开源。
由于当你这样做时，它在数据利用和如何建立模型方面设定了更高的标准。
”

但也存在严重的风险。
大型措辞模型会分布缺点信息、偏见和仇恨辞吐。
它们可以用来炮制大规模舆论宣扬信息或者为恶意软件供应动力。
“你必须在透明度和安全性之间做出权衡。
”皮诺说。

对付 Meta AI，这种权衡可能意味着一些模型根本不会发布。
例如，如果皮诺的团队在 Facebook 用户数据上演习了一个模型，那么它将留在内部，由于私人信息透露的风险太大了。
否则，团队可能会发布带有分外容许的模型，指定它必须仅用于研究目的。

这便是 LLaMA 所采取的方法。
但在发布后的几天内，有人在互联网论坛 4chan 上发布了完全的模型和运行解释。
皮诺说：“我仍旧认为，对付这种分外的模式来说，这是精确的权衡。
”“但我对人们会这么做感到失落望，由于这让发布这些模型变得更加困难。
”

她说：“我们一贯得到公司领导层和马克·扎克伯格的大力支持，但这并不随意马虎。
”

Meta AI 的风险很高。
她说：“当你是一家非常小的初创公司时，做一些猖獗事情的潜在风险要比当你是一家非常大的公司时低得多。
现在我们向成千上万的人发布了这些模型，但如果问题变得更大，或者我们以为安全风险更大，我们将关闭它，只向拥有非常强大保密方法的已知学术互助伙伴发布，采取保密协议或 NDA 模式，他们不能用该模型构建任何东西，纵然是为了研究目的。
”

如果发生这种情形，那么许多开源生态系统的宠儿可能会创造，他们在 Meta AI 接下来推出的任何产品上构建的容许证都被吊销了。
如果没有 LLaMA，像 Alpaca、Open Assistant 或 Hugging Chat 这样的开源模型就不会这么好，而且下一代的开源创新者不会像现在这批人那样有上风。

权衡

其他人也在权衡这种开放源代码的风险和回报。

大约在 Meta AI 发布 LLaMA 的同时，Hugging Face 推出了一种闸门机制，这样人们在公司平台高***许多模型之前必须要求访问并得到批准。
这个想法是为了只许可那些有正当情由的人打仗这个模型——由 Hugging Face 决定。

“我不是开源的布道者，”Hugging Face 公司的首席伦理科学家玛格丽特·米切尔（Margaret Mitchell）说，“我确实明白为什么闭源很故意义。
”

米切尔指出，对付大模型的广泛利用来说，未获授权的色情作品是一个不利成分。
她说，这是人工智能图像制作的紧张用场之一。

米切尔曾在谷歌事情，并与人共同创立了谷歌伦理人工智能团队，她理解个中的紧张关系。
她方向于她所谓的“负任务的民主化”——这是一种类似于 Meta AI 的方法，即根据模型会造成侵害或被滥用的潜在风险，以一种可控的办法发布模型。
她说：“我真的很欣赏开源的理念，但我认为建立某种问责机制是有用的。
”

OpenAI 也在削弱其开放性。
上个月，当该公司宣告为 ChatGPT 供应动力的新版大型措辞模型 GPT-4 时，技能报告中有一句引人瞩目的话：“考虑到像 GPT-4 这样的大型模型的竞争情形和安全影响，本报告没有包含有关架构（包括模型大小）、硬件、演习打算、数据集构建、演习方法或类似技能内容的更多细节。
”

这些新的限定部分是由于 OpenAI 现在是一家以利润为导向的公司，与谷歌等公司竞争。
但它们也反响出一种心态的改变。
OpenAI 联合创始人兼首席科学家伊利亚·萨特斯克弗（Ilya Sutskever）在接管 The Verge 采访时表示，该公司过去的开放性是一个缺点。

OpenAI 的政策研究员桑德希尼·阿加瓦尔（Sandhini Agarwal）说，在公开什么是安全的、什么是不屈安的问题上，OpenAI 显然已经改变了策略：“以前，如果某个东西是开源的，可能只有一小群人会关心。
现在，全体环境都变了。
开源确实可以加速开拓，并导致激烈竞争。
”

但事情并不总是这样的。
如果 OpenAI 在三年前公布 GPT-3 的细节时有这种觉得，就不会有 EleutherAI。

如今，EleutherAI 在开源生态系统中扮演着关键角色。
从那往后，它建立了几个大型措辞模型，Pile 被用来演习许多开源项目，包括 Stability AI 的 StableLM。

如果 OpenAI 分享的信息少一些，这统统都不可能实现。
与 Meta AI 一样，EleutherAI 支持着大量开源创新。

但是随着 GPT -4 的涌现，开源可能会再次被一些大公司所关注。
他们可能会推出猖獗的新版本——乃至可能威胁到谷歌的一些产品。
但他们将被上一代模型所困。
真正的进步，将发生在关起门的房间里。

这有什么关系吗？一个人如何看待大型科技公司关闭访问权限的影响，以及它对开源的影响，在很大程度上取决于你对人工智能该当如何制造以及该当由谁制造的意见。

“人工智能很可能成为未来几十年社会组织办法的驱动力，”加维说，“我认为，建立一个更广泛的监督和透明体系，比把权力集中在少数人手中要好。
”

比德曼对此表示赞许：“我绝对不认为，让每个人都去做开源，是某种道德上的必要性，”其表示，“但说到底，让人们开拓和研究这项技能是非常主要的，而不是为其商业成功进行经济投资。
”

另一方面，OpenAI 声称它只是在谨慎行事。
OpenAI 信赖与安全团队卖力人戴夫•威尔纳（Dave Willner）表示：“我们并不因此为透明度不好。
更主要的是，我们正在努力弄清楚如何折衷透明度和安全性。
随着这些技能变得越来越强大，在实践中这些东西之间存在一定程度的紧张关系。
”

“人工智能领域的许多规范和思维都是由学术研究团体构建的，这些团体重视协作和透明度，这样人们就可以在彼此的事情根本上连续发展，”威尔纳说，“大概随着这项技能的发展，这种情形须要有所改变。
”

支持：Ren