6月14日，第六届“北京智源大会”在中关村落展示中央开幕，智源研究院院长王仲远做2024智源研究院进展报告。
主理方供图

具身智能创新中央取得多项打破性成果

当天，王仲远申报请示了智源研究院在措辞、多模态、具身、生物打算大模型的前沿探索和研究进展以及大模型全栈开源技能基座的迭代升级与版图布局。

王仲远表示，现阶段措辞大模型的发展已经具备了通用人工智能非常核心的理解和推理能力，并且形成了一条以措辞大模型为核心对齐和映射其他模态的技能路线，从而让模型具备了初步的多模态理解和天生能力。
但这并不是让人工智能感知、理解物理天下的终极技能路线，而是该当采纳统一模型的范式，实现多模态的输入和输出，让模型具备原生的多模态扩展能力，向天下模型演进。
未来，大模型将以数字智能体的形态与智能硬件领悟，以具身智能的形态从数字天下进入物理天下，同时，大模型这一技能手段可为科学研究供应新的知识表达范式，加速人类对微不雅观物理天下规律的探索与研究打破，不断趋近通用人工智能的终极目标。

智源研究院具身智能创新中央在机器人泛化动作实行和智能大小脑决策掌握等方面取得了多项天下级打破性成果。

在具身智能通用抓取能力方面，针对跨任意形状和材质的泛化难题，智源率先打破95%的真机实验成功率，从而实现了环球领先的商业级动作实行水平。
借助这项技能，纵然在繁芜光芒透射、反射的情形下，机器人依然能够准确感知包括透明、高反光物体的形状和姿态，并预测出高成功率的抓取位姿。

在分级具身大模型系统方面，智源还研发了环球首个能做到开放指令掌握六自由度物体拿取放置的大模型系统Open6DOR。
该系统不仅像谷歌RT系列大模型一样按照自然措辞指令中的哀求将物体放到指定位置，还能够进一步对物体的姿态进行风雅化掌握。
该项技能极大地提高了具身操作大模型的商业运用范围和代价。

在面向技能结局的端到端具身大模型层面，智源发布了环球首个端到端基于***的多模态具身导航大模型NaVid。
该模型可直接将机器人视角的***和用户的自然措辞指令作为输入，端到端输出机器人的移动掌握旗子暗记。
不同于以往的机器人导航技能，NaVid无需建图，也不依赖于深度信息和里程计信息等其它传感器旗子暗记，而是完备依赖机器人摄像头采集的单视角RGB***流，并在只利用合成导航数据进行演习的情形下，通过Sim2Real的办法，实现在真实天下室内场景乃至是室外场景的zero-shot真机泛化，是一项年夜胆而成功的前沿技能探索事情。

智能心脏超声机器人准确性高，更加舒适

智源研究院还联合领视智远研发了环球首个智能心脏超声机器人，实现了环球首例真人身上的自主心脏超声扫查，可办理心脏B超年夜夫紧缺，诊断准确率不高，标准化欠缺，效率低的难题。
基于超声影像和机器臂的受力信息，智能心脏超声机器人可在高速动态环境下快速打算，提取心脏特色，实现了相称于自动驾驶L2、 L3 级的智能化水平。
临床验证结果显示，准确性上，智能心脏超声机器人能和高年资年夜夫保持同等；稳定性上，智能心脏超声机器人更高；舒适性上，智能超声机器人的力度可以掌握在 4 牛以内，更舒适；效率上，智能超声机器人实验机可与人类年夜夫持平。

为实现通用打算机掌握，智源研究院提出了通用打算机掌握框架Cradle，让智能体像人一样看屏幕，通过鼠标、键盘完成打算机上的所有任务。
Cradle 由信息网络、自我反思、任务推断、技能管理、行动操持以及影象模块等 6 个模块组成，可进行 “反思过去，总结现在，方案未来”的强大决策推理。
不同于业界其他方法，Cradle不依赖任何内部API实现了通用性。
目前，智源研究院与昆仑万维研究院等单位互助，在荒野大镖客、星露谷物语、城市天涯线、当铺人生4款游戏，以及Chrome、Outlook、飞书、美图秀秀以及剪映5种软件上，对Cradle进行了验证。
智能体不仅可以根据提示自主学习玩游戏，还能对图片、***进行有想象力的编辑。

未来，智源将依托多模态大模型技能上风资源，联合北大、清华、中科院等高校院所，银河通用、加速进化等家当链高下游企业，培植具身智能创新平台，重点开展数据、模型、场景验证等研究，打造具身智能创新生态。

新京报 张璐

编辑 唐峥 校正 王心