机器学习可以显著提高智能体的学习效率和泛化能力。

然而在现实天下的运用中，机器人的设计每每比其他问题更加棘手，由于机器人须要大量的演习和专业知识才能完成设计。

针对这个问题，李飞飞团队联合英伟达提出了一个全新的技能演习方法Skill Learning In Diversified Environments（SLIDE），通过自动天生的一系列不同的任务来创造一样平常化的技能。

与之前无监督的技能创造事情不同的是，他们是在相同的环境下演习产生不同的技能，而这篇论文中的方法将每个技能与一个可演习的任务天生器产生的独特任务结合起来。

为了鼓励一样平常化技能的涌现，对付每个被配对到的任务都进行技能演习，并最大化天生任务的多样性。
在天生的任务中定义一个任务判别器来估计多样性目标的证据下界。

机器人的技能是通过自动天生任务来学习的。
每一项技能都与一项由可演习的独特任务相匹配任务天生器。
这些技能被演习成专门从事被匹配到的任务。
通过天生的多样化任务来创造不同的技能。

方法中创造技能的关键是设计演习技能条件任务的目标函数天生器g来创建不同的任务。
为了让更通用的技能可以被学习出来，研究职员认为技能间（inter-skill）的多样性和技能内部(intra-skill)的多样性都须要被考虑，在演习任务天生器g时应该适当平衡。

技能间的多样性鼓励每项任务为配对到的技能提出更独特的寻衅。
而内部技能多样性衡量每个任务所能供应的环境变革。

对付机器人操作任务，开拓职员肯定希望机器人善于不同类型的互动（如推、抓、放等）具有特定类型的工具。
同时，也希望每项技能都有足够能力去处理场景变革和任务初始的通用性。

末了，还须要考虑了任务的可行性以防止在无法办理的任务中学习技能。

上图便是通过SLIDE模型创造的示例任务和技能，通过展示两个干系的采样轨迹来展示技能间和技能内的多样性。
每一个灰色区块中都有相同的技能指数。
每列显示天生的任务的初始化和技能的实行。
不同颜色表示不同物品类别的目的地，包括罐头（赤色）、盒子（绿色）和餐具（蓝色）

文中的实验设计的紧张目的是回答以下问题：1）SLIDE可以通过天生的任务来学习到不同的技能吗？2） 通过SLIDE学到的技能，能够被利用和泛化到其他没见过的任务上吗？3）SLIDE中的设计选项如何影响学习技能和任务绩效？

为了学习机器人技能并评估其对未知目标任务的泛化能力，设计了两个桌面操作区域。
每个域定义一个包含共享相同状态和动作空间但不同的环境设计和褒奖功能。
这两个任务空间由多个离散和离散变量参数化用于定义初始化、动力学和褒奖功能。

首先演习技能创造的方法，通过从参数化任务按程序天生任务没有目标任务观点的空间。
然后演习利用分层策略办理每个没见过的目标任务从同一领域学到的技能。

研究结果表明，相对付现有的强化学习和技能学习方法，论文中提出的方法学会的技能可以有效地提高机器人在各种没有目标的任务中的表现。

文章的紧张贡献在于提出了在多样化的环境中学习技能的模型SLIDE，它通过自动天生一组不同的任务。
通过最大化天生任务的多样性，SLIDE方法能够创造各种任务以启用技能策略来引发机器人学习到各种各样的行为。

通过演习分层构造，利用所学技能的强化学习算法作为低层策略，在两个桌面操作区域，能够有效地提高了隐性目标任务的学习能力与学习效率。

在今后的事情中有几个方面可以改进。
首先，提出的方法是专为学习一定数量的技能而设计的，一个有趣的研究方向是对任务进行开放式技能创造和灵巧的技能数量。

其次，文中暗示了在目标任务中对目标任务是有用的，并假设参数化褒奖函数在任务中预定义，但未来的事情可以天生相应任务任务基于内在勉励的褒奖函数。

末了，希望这项事情能鼓励更多的人努力利用面向机器人学习和类似运用的程序化内容天生，可以为更广泛的运用范围提出方法，比如视觉导航和仿人机器人。

文章的第一作者Kuan Fang是斯坦福大学Vision and Learning实验室的一名博士生，由Silvio Savarese教授和李飞飞教授共同辅导，紧张研究方向是打算机视觉、机器人和机器学习。

他的本科在清华大学，曾在Google Brain, Google X, 微软亚洲研究院演习。

本文的第二作者Yuke Zhu是德克萨斯州大学奥斯汀分校打算机科学系的助理教授，也是机器人感知和学习实验室的主任，同时还是 NVIDIA 研究中央的高等研究科学家。

紧张研究方向是为机器人和具身代理人构建智能算法，这些机器人和具身代理人可以推理并与现实天下互动，这项研究是机器人学、打算机视觉和机器学习的交叉。
重点研究了感知和掌握的方法和机制，以实现通用机器人的自主性。

这篇论文的导师是李飞飞，2020年当选为美国国家工程院院士，美国国家医学院院士，2021年当选为美国艺术与科学院院士。
她的事情包括括受认知启示的AI，机器学习，深度学习，打算机视觉和AI+医疗保健，尤其是用于医疗保健交付的环境智能系统。

她还从事认知和打算神经科学方面的事情。
她发明了ImageNet和ImageNet Challenge，个中ImageNet Challenge是一项主要的大规模数据集和基准测试事情

参考资料：https://arxiv.org/abs/2mia106.13935

—完—

欢迎点赞~ 关注 新智元 及时理解人工智能新动态~