21 小时前

ODYSSEY:面向长时程任务的开放世界四足动物探索与操作

Kaijun Wang, Liqin Lu, Mingyu Liu, Jianuo Jiang, Zeju Li, Bolin Zhang, Wancai Zheng, Xinyi Yu, Hao Chen, Chunhua Shen
ODYSSEY:面向长时程任务的开放世界四足动物探索与操作
摘要

语言引导的长时程移动操作长期以来一直是具身语义推理、可泛化操作以及自适应运动控制领域的重大挑战。现有研究面临三大根本性局限:首先,尽管大型语言模型通过语义先验显著提升了空间推理与任务规划能力,但现有实现仍局限于桌面场景,未能解决移动平台在感知受限和执行范围有限方面的实际问题;其次,面对开放世界环境中多样的物体布局,当前操作策略在泛化能力方面仍显不足;第三,尽管在实际部署中至关重要,如何在非结构化环境中同时保持高机动性平台运动能力与末端执行器的精确控制,这一双重需求仍缺乏深入研究。在本工作中,我们提出了 ODYSSEY——一种面向敏捷四足机器人(配备机械臂)的统一移动操作框架,能够无缝融合高层任务规划与底层全身控制。为应对语言条件任务中以自我为中心的感知挑战,我们引入了一种基于视觉-语言模型的分层规划器,实现长时程指令的分解与精准动作执行。在控制层面,我们提出了一种新型全身控制策略,在复杂地形中实现了鲁棒的协调控制。此外,我们首次构建了面向长时程移动操作的基准测试体系,用于评估多种室内与室外场景下的系统性能。通过成功的仿真到现实的迁移,我们验证了该系统在真实环境部署中的泛化能力与鲁棒性,凸显了腿式操作机器人在非结构化环境中的实际应用潜力。本工作显著推进了具备复杂动态任务执行能力的通用机器人助手的可行性。项目主页:https://kaijwang.github.io/odyssey.github.io/