小扎砸数百亿美元猛攻开源AGI!狂掷60万块H100爆50倍GPT-4算力_开源_团队
【新智元导读】本日,小扎正式宣战「开源AGI」!
下一代大模型Llama 3正在演习,年底将拥有35万块H100,届时算力总和达60万块H100。为了追赶OpenAI,成立十年的FAIR团队纳入GenAI,全力奔赴AGI。
自Llama2、Code Llama发布后,许久未现身的小扎本日正式官宣:
全力搞「开源AGI」!
短短1分45秒***中,小扎对Meta的计策升级进行了分享,从AGI构建,到团队互助,再到根本举动步伐的等一系列举措。
接下来,划重点!
!
!
从现在起,人工智能实验室FAIR团队将纳入「GenAI」,紧密互助重点构建AGI,并全面开源。
目前,Meta内部正在演习下一代模型Llama 3。截止年底,将会有近35万块H100搭建的根本举动步伐。
网友无法想象,Llama 3那得有多大!
Omdia研究数据显示,Meta在2023年H100的出货量为15万块,与微软持平,且是其他公司出货量的3倍。
小扎称,「如果算上英伟达A100和其他AI芯片,到2024年底,Meta将拥有近60万个GPU等效算力」。
此外,小扎的「元宇宙」崇奉还没有放弃。他提到,AI终极会与智能设备结合,比如Ray-ban智能眼镜。
30倍GPT-4算力,靠近GPT-5水平
在小扎自曝Meta算力之后,Pytorch创始人Soumith Chintala表示,终于可以公开评论辩论GPU数据了。到今年年底,Meta将拥有60块H100等效GPU。
他还在此卖关子,让大家自由预测,Meta已经支配和正在利用的GPU。
CAIS的卖力人惊叹道, 35万块H100,这比GPT-4的打算能力赶过约30倍,险些达到了GPT-5的水平。
还有人给Meta算了一笔账,「每台H100的本钱约为3万美元,这意味着小扎的公司仅购买算力就须要支付约105亿美元,更不用说电费了」。
而这仅仅是为了演习Llama 3?
其余,有网友估量150-200亿美元的算力演习为推举系统做事的Llama 3。
图灵奖巨子Yann LeCun更是有感而发,本日连发了多条推文。
FAIR的义务是开拓人类水平的AI助手:是一个能够理解天下、感知、影象、推理、操持和行动系统。
在不远的将来,我们与数字天下的所有互动,都将由AI助手通过智能眼镜和其他设备来实现。我们须要这些系统具备人类水平的智能,这样它们才能理解天下、人和工具,从而在日常生活中帮助我们。
为了加快进度,FAIR现已成为人工智能产品部门GenAI的姊妹机构。与此同时,Meta正在培植大规模的打算根本举动步伐,以支持人工智能的研究、开拓和生产。
当然,我们也致力于开放研究和开源人工智能平台(是的,Llama 3就要来了!
)。FAIR是天下年夜将AI研究推进到新水平的最佳研究机构,而Meta则是将AI应推向数十亿人群的最佳公司。
没有开源AI,就没有AI创业生态系统。
Meta一贯考试测验去做精确的事情。
Meta一贯在AI领域进行开放研究。
Meta一贯在推广开源AI平台。
经由过去一年的多次谈论(有时是有争议的),一个共识正在形成,即开源人工智能平台是不可避免的、必要的,而且是一件好事。
小扎:全员打造「开源AGI」
最近,Sam Altman在参加的天下经济论坛中透露,人类水平的AGI即将到来,而且GPT-5正在演习中。
2023年,人工智能领域成为OpenAI微软的主沙场,GPT-4、Copilot等一系列模型/产品发布,让许多大厂望之莫及。
谷歌、Meta、苹果等科技巨子在AI推陈出新上,已经站在了第二梯队。
凌晨,小扎一则***正式官宣,意味着Meta全员已经大张旗鼓,向全力打造开源AGI迈进。
在Ins***配文中,小扎写道,
我们的长期愿景是构建AGI,负任务地将其开源,并使其广泛可用,让每个人都能从中受益。为了支持这一目标,我们正在将两大AI研究团队——FAIR和GenAI紧密结合在一起。
Meta目前正在演习下一代模型Llama 3,并培植大规模的打算根本举动步伐,以支撑未来路线图,个中包括到今年年底建成35万块H100,如果算上其他GPU,Meta总算力相称于近60万个H100。此外,我们在构建以AI为中央的新型打算设备(如Ray Ban Meta智能眼镜)方面取得的进展也让人非常愉快。
Llama 3匹敌GPT-4,免费开源关于Meta下一代模型的,此前也有传言称,Llama 3的实力堪比GPT-4,而且还是免费开源。
OpenAI工程师、前谷歌大脑工程师Jason Wei去年8约在Meta组织的Generative AI Group活动中听说:
Meta有足够的算力来演习Llama 3和Llama 4。Llama 3操持达到GPT-4的性能水平,但仍将免费供应
这次也算是,Meta正式官宣Llama 3演习中,而且LeCun也表示最新模型很快就会上线。
从2023年2月,Llama 1首次面世,到7约Llama 2的升级,Meta花了大约5个月的韶光。
当时,Llama 2在某些运用上与GPT-3.5能力相媲美,而且还通过微调,额外功能让开源社区进行优化。
Llama模型开源后所带来的是,模型生态大爆发。
据Meta统计数据显示,在世界最大开源社区平台Hugging Face上,Llama模型的***量超过3000万次。个中,仅在过去30天(9月份)内就超过了1000万次。
其余,发布在Hugging Face的Llama版微调模型,已经多达7000+个。
而现在,得知Llama 3在演习中,AI圈的人愉快不已。
AI团队重组:成立10年FAIR团队+GenAI
除了将重点放在开拓AGI之外,Meta官宣最引人瞩目的便是:小扎决定将其人工智能研究团队FAIR纳入产品部门。
根据Verge的独家采访,成立10年FAIR团队,将并入GenAI团队。虽然小扎在***并未解释,只是透露了两个团队将紧密互助。
Meta此举与谷歌合并两大AI团队,别无二致。
OpenAI微软在AI圈名气大涨让谷歌瞬间火烧眉毛,去年4月官宣合并DeepMind和谷歌大脑团队,统称为Google DeepMind。
2013年12月,在LeCun主导下,Fcabook成立了FAIR人工智能实验室。
从成立之初,FAIR的定位便是一个卖力研究技能的部门,其研究重点也大多聚焦在办理推理、预测、方案、无监督学习等底层技能问题上。
过去几年来,在这个实验室中人才辈出,何恺明、SVM的缔造者Vladimir Vapnik、提出随机梯度低落法的Léon Bottou等AI领域的学者和专家。
与此同时,研究成果也是「天下级」AI,包括轻量化和模块化的深度学习框架Caffe2、PyTorch架构等等。
而现在,Meta内部须要计策调度,全力奔赴AGI。
说来,GenAI这一团队的成立并未官宣。第一次露面还是在Llama 2发布时,在论文中所有作者下面一行中涌现。
GenAI首次以团队名称涌现
未来,FAIR的副总裁Joelle Pineau和首席AI科学家Yann LeCun将向Meta的首席产品官Chris Cox申报请示事情。
而在此之前,他们是向卖力Reality Labs的首席技能官Andrew ‘Boz’ Bosworth申报请示。
对此,Cox表示,这一调度强调了AI研究对Meta及其产品长远成功的核心浸染。
「通过FAIR和GenAI更加紧密的互助,我们可以拥有一个更加统一的AI研究项目和发展蓝图。个中,Llama将成为我们迈向AGI的主力,同时我们也将简化新技能或创新AI研究的开拓流程,确保在一个日益受到关注的领域中,能够在法律、政策和品牌形象方面保持同等。」
专访小扎问:你将FAIR从Boz所卖力的部门转移到了Chris所卖力的部门。这对Reality Labs有何影响?我以为有些人可能会认为RL将会失落去它。
小扎:这绝对不是我的意见。让我详细解释这个决定是如何形成的:这实在是Boz的建议。
在谈论如何统一研究方案和流程时,Chris、Boz和我进行了交谈。Boz表示他在AI方面投入了大量韶光。但他认为,与其让这些问题不断上报给Chris和Boz,不如让他们直接参与折衷事情。因此,他建议将FAIR移至Chris那里。
在以前的模式下,FAIR相对独立地运作,只管它属于Boz卖力的部门,但我不愿定他们是否真的认为自己是Reality Labs的一部分。我们总是将AI事情和Reality Labs的事情视为两个不同的领域。Reality Labs可以作为一个独立的组织独立运作,而AI则渗透到公司的各个方面。
这并不虞味着所有的事情以前都集中在一个地方,或者现在都会集中在一个地方。这次调度更详细地说,是将我们的两个紧张研究实验室并置,以便我们能在这些长期研究领域取得更多进展。在Reality Labs以前的模式中,我不认为FAIR的卖力人们会参加Boz的员工会议,它们更像是被作为独立项目来管理。
我认为这次组织内部的调度并不会带来太大的不同感。而且,鉴于AI对公司的主要性,Boz无论如何都会在这方面投入大量韶光,Reality Labs也将连续涵盖很多AI干系的项目。
问:你是否把稳到,随着天生式AI的兴起,你的个人关注点也随之转移了?相对付Reality Labs,你是不是创造自己在AI方面投入了更多韶光,还是说这种投入每周都在变革?
小扎:这不仅仅是两者之间的选择问题。在2023年,最耗费我韶光的是关注如何提高效率,我们改变了公司的运作办法,使其更加高效精髓精辟。这并不虞味着我们会回到过去的状态。但我以为我们已经建立了一套新的操作规范,现在可以比较顺利地连续进行。这须要一定的事情量,但可能只有去年我在这方面投入的韶光的十分之一。
对付今年而言,这部分事情减少了,这使得我有更多的韶光来专注于产品开拓。至于其他须要关注的事变,今年将是一个环球范围内主要的选举年。显然,包括美国在内的选举,但我认为,从历史角度来看,今年可能是环球选举最密集的一年。我认为确保我们在所有的诚信掩护事情上做得出色也同样主要。因此,这方面今年会比以前更受关注。
身处一种模式中颇为有趣,不是在减少事务,而是我们又可以专注于创造新的东西。这是一种令人愉悦的状态。
本文系作者个人观点,不代表本站立场,转载请注明出处!