Devin 在 SWE-bench 编码基准测试中取得了打破性的成功，展示了其实行繁芜任务的能力，乃至超越了顶尖的人类工程师。

Devin 是在数据集 25% 的随机子集上进行评估的。
Devin 是无赞助的，而所有其他模型都是有赞助的（这意味着模型被奉告哪些文件须要编辑）。

Devin 善于长期推理能力，可以自主方案和完成软件项目，并在此过程中做出数以千计的准确决策。
IT之家附上 Devin 所具备的技能如下：

快速节制新技能：只需阅读文档，Devin 就能快速节制不熟习的工具和框架。

开拓端到端运用：构建并支配功能完好的网络运用程序，根据用户反馈逐步增加功能。

自动化查找 BUG：Devin 善于识别、调试和修复代码问题，同时为开源和生产级软件仓库作出贡献。

AI 培训：从研究资料库中获取指令，建立并微调大型措辞模型。

官方对其的描述如下：

Devin 是一位不知疲倦、技能娴熟的队友，随时准备与您并肩作战，或独立完成任务供您审查。

有了 Devin，工程师可以专注于更有趣的问题，工程团队可以努力实现更远大的目标。