借助AI运动跟踪软件升级，观看人形机器人与人类无缝跳华尔兹

由于一种新的跟踪人类运动的软件框架，人形机器人很快就会以更真实的方式移动——甚至像我们一样跳舞。由加州大学圣地亚哥分校、加州大学伯克利分校、麻省理工学院和英伟达的研究人员开发的“ExBody2”是一项新技术，它使人形机器人能够根据人类的详细扫描和运动跟踪可视化来执行逼真的运动。

研究人员希望未来的人形机器人可以通过更准确地模仿人类动作来执行更广泛的任务。例如，这种教学方法可以帮助机器人扮演需要精细动作的角色——比如从货架上取回物品——或者小心地在人类或其他机器周围移动。ExBody2的工作原理是根据人类的动作捕捉扫描进行模拟动作，并将其转化为机器人可以复制的可用动作数据。该框架可以使用机器人复制复杂的动作，这将使机器人移动不那么僵硬，并适应不同的任务，而无需大量的再训练。相关：目前世界上8个最奇怪的机器人

所有这些都是通过强化学习来教授的。强化学习是机器学习的一个子集，机器人被输入大量数据，以确保它在任何给定情况下都能走最佳路线。研究人员模拟的良好输出会被赋予正负分，以“奖励”模型获得理想的结果。这意味着在不影响机器人稳定性的情况下精确复制动作。

该框架还可以拍摄短的运动片段，例如几秒钟的舞蹈，并合成新的运动帧以供参考，以使机器人能够完成更长时间的运动。与机器人共舞在YouTube上发布的一段视频中，一个通过ExBody2训练的机器人与人类受试者一起跳舞、练习。此外，该机器人使用上海交通大学机器视觉与智能小组开发的名为“HybrIK：用于身体网格恢复的混合分析神经逆运动学”的附加代码实时模仿研究人员的运动。

目前，ExBody2的数据集主要集中在上身运动上。在2024年12月17日上传到预印本服务器Arxiv的一项研究中，该框架背后的研究人员解释说，这是因为担心机器人下半部分引入太多运动会导致不稳定。

“过于简单的任务可能会限制训练策略推广到新情况的能力，而过于复杂的任务可能会超出机器人的操作能力，导致无效的学习结果，”他们写道。“因此，我们数据集准备的一部分包括排除或修改以机器人能力之外的复杂下半身运动为特征的条目。”研究人员的数据集包含2800多个动作，其中1919个来自运动捕捉表面形状档案（AMASS）数据集。这是一个人类运动的大型数据集，包括11000多个单独的人类运动和40小时的详细运动数据，旨在用于非商业深度学习——当神经网络在大量数据上进行训练以识别或再现模式时。

在证明了ExBody2在类人机器人中复制类人运动的有效性后，该团队现在将转向实现这些结果的问题，而无需手动管理数据集以确保框架只能获得合适的信息。研究人员建议，在未来，自动化数据集收集将有助于顺利完成这一过程。