扎克伯格谈AI竞争 澎湃***编辑 李垚瑞(00:57)

扎克伯格:开源是AI未来的倾向美国办法先中国AI数年的目标不现实_模子_开源 绘影字幕

社交媒体巨子Meta发布了旗下最强开源人工智能(AI)模型Llama 3.1,扎克伯格称开源是AI的未来提高方向。

当地韶光7月23日,Meta发布了旗下最新开源模型Llama 3.1,包含8B、70B和405B这三个参数规模。
Meta方面表示,迄今为止,Llama系列所有版本的总***量已超过三亿次。
Meta的CEO马克·扎克伯格称Llama 3.1的涌现“将成为行业的一个迁移转变点”,并发文详谈了公司的开源AI策略。

今年4月,Meta刚刚发布Llama 3。
Llama 3.1在Llama 3的根本上进行了重大更新,可以进行八种措辞的对话、编写更高质量的打算机代码,并办理更繁芜的数学问题。
Llama 3.1模型已被用于驱动谈天机器人Meta AI,该产品已加入Instagram和WhatsApp等运用程序,同时有独立网站

据先容,在150多个基准测试集中,Llama 3.1 405B版本的表现基本追平乃至超越了此前最强闭源模型GPT-4o和Claude 3.5 Sonnet,而参数较小的8B和70B模型也能够与谷歌、Mistral AI以及OpenAI旗下参数相似的各大模型相媲美。

Llama 3.1 405B版本在基准测试集中取得精良成绩。
来源:Meta

而Llama 3.1模型背后,其演习数据的规模也相称惊人。
为了在超过15万亿个token上演习Llama 3.1 405B模型,Meta团队大幅优化了全体演习栈,并把模型算力规模首次扩展到了超过16000个英伟达H100 GPU。

详细来看,团队依然采取了标准的仅解码器的Transformer架构,并采取迭代的post-training流程,每轮都进行SFT(监督微调)和DPO(直接偏好优化),以提高能力性能。
与Llama的以往版本相比,团队还提高了用于预演习和post-training的数据的数量和质量。

同时,Meta的开源生态进一步扩展,Llama 3.1已经在超过25个企业的平台上推出,包括亚马逊云科技、微软云Azure、谷歌云、Oracle等紧张云平台。
个中,亚马逊云科技、Databricks和英伟达正在推出全套做事,以支持开拓职员微调和演习自己的模型。

借这次机会,Meta还更新了开源容许,首次许可开拓者利用Llama模型的输出来改进其他模型。
Meta表示,团队也会将图像、***和语音功能整合到 Llama 3 中,使模型能够识别图像和***,并通过语音支持交互,但该功能仍在开拓中。

23日当天,扎克伯格也为Llama 3.1发布了一篇长文,标题为《开源AI是提高之路》,将Llama 3.1称为“行业的一个迁移转变点”。

在文中,扎克伯格将开源模型和开源的Linux操作系统进行了比较,称Linux因其可定制性、本钱效益和安全性而受到欢迎,并终极成为云打算和移动设备操作系统的行业标准,“相信AI也会以类似的办法发展。

扎克伯格认为,只管一些AI公司正在开拓领先的闭源模型,开源AI正在迅速缩小差距,并且开源的模式有利于公司发展:“我们必须确保始终能够用到最佳技能,同时不能陷入竞争对手的封闭生态系统,由于竞争对手会限定我们的构建。
”扎克伯格还在此处特殊点名了苹果的“苹果税”,称其为影响Meta的一次经历。

扎克伯格强调,开源能够促进完全的生态系统发展,并让行业中的各种模型都保持竞争力、高效和开放。
而从更长远的角度来看,开源会让AI变得更安全,让这项技能更均匀、更安全地在全体社会支配,并让系统更加透明,可以受到广泛的审查。

其余,在接管外媒采访时,扎克伯格透露,Meta已经在开拓Llama 4,Meta的谈天机器人已经拥有“数亿名”用户,他估量Meta之外的其他公司也将利用Llama来演习自己的AI模型。
扎克伯格还指出,认为“美国在AI发展方面能够永久领先中国5-10年”的不雅观点是不现实的,在AI竞赛中对中国封锁是大错特错,“美国保持6-8个月的领先是合理的(目标)。

7月23日,Meta(Nasdaq:META)股价收于每股488.69美元,涨0.26%,总市值1.24万亿美元。
Wind数据显示,自今年年初以来,Meta股价已上涨38.35%。