RSS 2026 초록 문장별 13개 독해 라벨

능숙한 양손 조작 정책을 배우는 것은 대규모의 고품질 시연에 크게 좌우되지만 현재 패러다임은 본질적인 상충 관계에 직면해 있습니다. 원격 조작은 물리적으로 기반이 된 데이터를 제공하지만 엄청나게 노동 집약적인 반면, 시뮬레이션 기반 합성은 효율적으로 확장되지만 시뮬레이션과 실제 간 격차로 인해 어려움을 겪습니다. 우리는 단일 실제 사례에서 접촉이 풍부하고 물리적으로 실행 가능한 양손 데모를 합성하는 프레임워크인 BiDemoSyn을 제시합니다. 핵심 아이디어는 작업을 불변 조정 블록과 가변적이고 객체에 따른 조정으로 분해한 다음 비전 기반 정렬 및 경량 궤적 최적화를 통해 조정하는 것입니다. 이를 통해 반복적인 원격 조작이나 불완전한 시뮬레이션에 의존하지 않고도 몇 시간 내에 수천 개의 다양하고 실행 가능한 데모를 생성할 수 있습니다. 6개의 이중 작업을 통해 BiDemoSyn 데이터에 대해 훈련된 정책이 새로운 개체 포즈와 모양에 강력하게 일반화되어 최근의 강력한 기준을 훨씬 능가한다는 것을 보여줍니다. BiDemoSyn은 원샷 설정을 넘어 자연스럽게 퓨샷 기반 합성으로 확장되어 강력한 데이터 효율성을 유지하면서 개체 수준의 다양성과 분산 외 일반화를 개선합니다. 더욱이 BiDemoSyn 데이터에 대해 훈련된 정책은 객체 중심 관찰과 구현별 역학에서 정책을 분리하는 단순화된 6-DoF 엔드 이펙터 작업 표현을 통해 활성화된 새로운 로봇 플랫폼으로의 제로샷 교차 구현 전송을 보여줍니다. 효율성과 실제 충실도 사이의 격차를 해소함으로써 BiDemoSyn은 물리적 기반을 손상시키지 않으면서 복잡한 양손 조작을 위한 실용적인 모방 학습을 향한 확장 가능한 경로를 제공합니다.

Learning dexterous bimanual manipulation policies critically depends on large-scale, high-quality demonstrations, yet current paradigms face inherent trade-offs: teleoperation provides physically grounded data but is prohibitively labor-intensive, while simulation-based synthesis scales efficiently but suffers from sim-to-real gaps. We present BiDemoSyn, a framework that synthesizes contact-rich, physically feasible bimanual demonstrations from a single real-world example. The key idea is to decompose tasks into invariant coordination blocks and variable, object-dependent adjustments, then adapt them through vision-guided alignment and lightweight trajectory optimization. This enables the generation of thousands of diverse and feasible demonstrations within several hour, without repeated teleoperation or reliance on imperfect simulation. Across six dual-arm tasks, we show that policies trained on BiDemoSyn data generalize robustly to novel object poses and shapes, significantly outperforming recent strong baselines. Beyond the one-shot setting, BiDemoSyn naturally extends to few-shot-based synthesis, improving object-level diversity and out-of-distribution generalization while maintaining strong data efficiency. Moreover, policies trained on BiDemoSyn data exhibit zero-shot cross-embodiment transfer to new robotic platforms, enabled by object-centric observations and a simplified 6-DoF end-effector action representation that decouples policies from embodiment-specific dynamics. By bridging the gap between efficiency and real-world fidelity, BiDemoSyn provides a scalable path toward practical imitation learning for complex bimanual manipulation without compromising physical grounding.

모방 학습은 로봇 조작 분야에서 놀라운 성공을 거두었지만 데이터 부족, 제한된 작업 공간, 탁월한 수준의 안전성 및 예측 가능성에 대한 필요성으로 인해 수술 로봇 공학에 적용하는 것은 여전히 어려운 과제입니다. 우리는 자율 정책 위에 추가할 수 있는 위상 구조 수술 조작 작업을 위해 설계된 감독된 전문가 혼합(MoE) 아키텍처를 제시합니다. 다중 카메라 설정 또는 수천 개의 데모에 의존하는 이전 수술 로봇 학습 접근 방식과 달리, 우리는 ACT(Action Chunking Transformer)와 같은 경량 액션 디코더 정책이 아키텍처를 갖춘 경우 스테레오 내시경 이미지만을 사용하여 150개 미만의 데모에서 복잡하고 긴 수평 조작을 학습할 수 있음을 보여줍니다. 우리는 로봇 보조원이 인간 외과 의사의 시각적 신호를 해석하고 변형 가능한 조직에 대한 목표 파악을 실행하며 지속적인 수축을 수행하는 장 파악 및 철회의 공동 수술 작업에 대한 접근 방식을 평가합니다. 우리는 최첨단 VLA(Vision-Language-Action) 모델 및 표준 ACT 기준과 비교하여 우리의 방법을 벤치마킹합니다. 우리의 결과에 따르면 일반 VLA는 표준 배포 조건에서도 작업을 완전히 획득하지 못하는 것으로 나타났습니다. 또한 표준 ACT는 배포 내에서 중간 수준의 성공을 달성하는 반면, 감독된 MoE 아키텍처를 채택하면 성능이 크게 향상되어 배포 내 성공률이 높아지고 새로운 파악 위치, 조명 감소 및 부분 폐색을 포함한 배포 외 시나리오에서 뛰어난 견고성을 보여줍니다. 특히, 이는 보이지 않는 테스트 관점을 일반화하고 추가 훈련 없이 생체 외 돼지 ​​조직에 제로샷을 전송하여 생체 내 배포를 향한 유망한 경로를 제공합니다. 이 진술을 뒷받침하기 위해 우리는 생체 내 돼지 수술 중 정책 롤아웃의 질적 예비 결과를 제시합니다. 이러한 결과는 감독된 MoE 아키텍처가 시각적으로 제한된 환경에서 다단계 능숙한 조작을 학습하기 위한 데이터 효율적인 접근 방식을 제공한다는 것을 보여줍니다. 코드와 데이터 세트는 수락 시 공개됩니다.

Imitation learning has achieved remarkable success in robotic manipulation, yet its application to surgical robotics remains challenging due to data scarcity, constrained workspaces, and the need for an exceptional level of safety and predictability. We present a supervised Mixture-of-Experts (MoE) architecture designed for phase-structured surgical manipulation tasks, which can be added on top of any autonomous policy. Unlike prior surgical robot learning approaches that rely on multi-camera setups or thousands of demonstrations, we show that a lightweight action decoder policy like Action Chunking Transformer (ACT) can learn complex, long-horizon manipulation from less than 150 demonstrations using solely stereo endoscopic images, when equipped with our architecture. We evaluate our approach on the collaborative surgical task of bowel grasping and retraction, where a robot assistant interprets visual cues from a human surgeon, executes targeted grasping on deformable tissue, and performs sustained retraction. We benchmark our method against state-of-the-art Vision-Language-Action (VLA) models and the standard ACT baseline. Our results show that generalist VLAs fail to acquire the task entirely, even under standard in-distribution conditions. Furthermore, while standard ACT achieves moderate success in-distribution, adopting a supervised MoE architecture significantly boosts its performance, yielding higher success rates in-distribution and demonstrating superior robustness in out-of-distribution scenarios, including novel grasp locations, reduced illumination, and partial occlusions. Notably, it generalizes to unseen testing viewpoints and also transfers zero-shot to ex vivo porcine tissue without additional training, offering a promising pathway toward in vivo deployment. To support this statement, we present qualitative preliminary results of policy roll-outs during in vivo porcine surgery. These results demonstrate that supervised MoE architectures provide a data-efficient approach for learning multi-step dexterous manipulation in visually constrained environments. Code and dataset will be released upon acceptance.

능숙한 손을 위한 실제 데이터 수집은 비용이 많이 들고 노동 집약적이기 때문에 데이터 부족은 근본적으로 양손 능숙한 조작의 일반화를 제한합니다. 조작 지식을 직접 전달하는 인간 조작 비디오는 로봇 학습을 확장할 수 있는 상당한 잠재력을 제공합니다. 그러나 인간의 손과 로봇의 능숙한 손 사이의 상당한 구현 차이로 인해 인간 비디오에서 직접 사전 훈련을 하는 것이 매우 어렵습니다. 이러한 격차를 해소하고 대규모 인간 조작 비디오 데이터의 잠재력을 발휘하기 위해 우리는 추가 정보 없이 단안 인간 조작 비디오를 물리적으로 그럴듯한 로봇 데이터로 변환하는 자동화된 프레임워크인 DexImit을 제안합니다. DexImit은 4단계 생성 파이프라인을 사용합니다. (1) 미터법에 가까운 규모로 임의의 관점에서 손-객체 상호 작용을 재구성합니다. (2) 하위 작업 분해 및 이중 수동 스케줄링을 수행합니다. (3) 입증된 상호작용과 일치하는 로봇 궤적을 합성하는 것; (4) 제로샷 실제 배포를 위한 포괄적인 데이터 확대. 이러한 설계를 기반으로 DexImit은 인터넷이나 비디오 생성 모델에서 인간 비디오를 기반으로 대규모 로봇 데이터를 생성할 수 있습니다. DexImit은 도구 사용(예: 사과 자르기), 장거리 작업(예: 음료 만들기), 세밀한 조작(예: 컵 쌓기)을 포함한 다양한 조작 작업을 처리할 수 있습니다.

Data scarcity fundamentally limits the generalization of bimanual dexterous manipulation, as real-world data collection for dexterous hands is expensive and labor-intensive. Human manipulation videos, as a direct carrier of manipulation knowledge, offer significant potential for scaling up robot learning. However, the substantial embodiment gap between human hands and robotic dexterous hands makes direct pretraining from human videos extremely challenging. To bridge this gap and unleash the potential of large-scale human manipulation video data, we propose DexImit, an automated framework that converts monocular human manipulation videos into physically plausible robot data, without any additional information. DexImit employs a four-stage generation pipeline: (1) reconstructing hand–object interactions from arbitrary viewpoints with near-metric scale; (2) performing subtask decomposition and bimanual scheduling; (3) synthesizing robot trajectories consistent with the demonstrated interactions; (4) comprehensive data augmentation for zero-shot real-world deployment. Building on these designs, DexImit can generate large-scale robot data based on human videos, either from the Internet or video generation models. DexImit is capable of handling diverse manipulation tasks, including tool use (e.g., cutting an apple), long-horizon tasks (e.g., making a beverage), and fine-grained manipulations (e.g., stacking cups).

도구 조작을 일반화하려면 의미론적 계획과 정밀한 물리적 제어가 모두 필요합니다. VLA(Vision-Language-Action) 모델과 같은 현대의 일반 로봇 정책에는 접촉이 많은 도구 조작에 필요한 충실도 높은 물리적 접지가 부족한 경우가 많습니다. 반대로 촉각 또는 촉각 감지를 활용하는 기존 접촉 인식 정책은 일반적으로 인스턴스별로 다르며 다양한 도구 구조에 걸쳐 일반화되지 않습니다. 이러한 격차를 해소하려면 다양한 데이터로부터 통합된 접촉 표현을 학습해야 하지만 근본적인 장벽은 여전히 ​​남아 있습니다. 다양한 실제 촉각 데이터는 규모에 따라 엄두도 못 낼 수 있는 반면, 소프트 센서의 비선형 변형의 복잡한 역학으로 인해 직접적인 제로샷 시뮬레이션에서 실제 간 전송은 어렵습니다. 이 문제를 해결하기 위해 우리는 시각적 의미론과 밀집된 접촉 추정치를 융합한 통합 3D 표현인 Semantic-Contact Fields(SCField)를 제안합니다. 우리는 2단계 Sim-to-Real 접촉 학습 파이프라인을 통해 이를 가능하게 합니다. 먼저, 일반적인 접촉 물리학을 배우기 위해 대규모 시뮬레이션 데이터 세트를 사전 훈련합니다. 둘째, 센서 특성을 정렬하기 위해 기하학적 휴리스틱과 힘 최적화를 통해 의사 레이블이 지정된 작은 실제 데이터 세트를 미세 조정합니다. 이를 통해 보이지 않는 도구에 대한 물리적 일반화가 가능해집니다. 우리는 접촉이 많은 도구 조작 작업을 강력하게 실행할 수 있도록 확산 정책에 대한 밀집된 관찰 입력으로 SCField를 활용합니다. 긁기, 크레용 그리기 및 벗겨내기에 대한 실험은 강력한 카테고리 수준 일반화를 보여 주며 시각 전용 및 원시 촉각 기준보다 훨씬 뛰어난 성능을 보여줍니다.

Generalizing tool manipulation requires both semantic planning and precise physical control. Modern generalist robot policies, such as Vision-Language-Action (VLA) models, often lack the high-fidelity physical grounding required for contact-rich tool manipulation. Conversely, existing contact-aware policies that leverage tactile or haptic sensing are typically instance-specific and fail to generalize across diverse tool geometries. Bridging this gap requires learning unified contact representations from diverse data, yet a fundamental barrier remains: diverse real-world tactile data are prohibitive at scale, while direct zero-shot sim-to-real transfer is challenging due to the complex dynamics of nonlinear deformation of soft sensors. To address this, we propose Semantic-Contact Fields (SCFields), a unified 3D representation fusing visual semantics with dense contact estimates. We enable this via a two-stage Sim-to-Real Contact Learning Pipeline: first, we pre-train on a large simulation data set to learn general contact physics; second, we fine-tune on a small set of real data, pseudo-labeled via geometric heuristics and force optimization, to align sensor characteristics. This allows physical generalization to unseen tools. We leverage SCFields as the dense observation input for a diffusion policy to enable robust execution of contact-rich tool manipulation tasks. Experiments on scraping, crayon drawing, and peeling demonstrate robust category-level generalization, significantly outperforming vision-only and raw-tactile baselines.

여러 손가락 손을 사용한 접촉이 풍부한 능숙한 조작은 로봇 공학에서 여전히 열려 있는 과제로 남아 있습니다. 작업 성공은 지속적으로 진화하고 물체 형상, 마찰 전환 및 미끄러짐에 매우 민감한 다중 지점 접촉에 달려 있기 때문입니다. 최근에는 촉각 정보 조작 정책이 유망한 것으로 나타났습니다. 그러나 대부분은 접촉 상태를 모델링하거나 동작 출력이 낮은 수준의 컨트롤러 역학과 상호 작용하는 방식보다는 추가 관찰로 촉각 신호를 사용합니다. 우리는 실제 로봇 상태와 촉각 피드백의 결합 궤적을 예측하고 학습된 접촉 일관성 매핑을 사용하여 이러한 예측을 규정 준수 컨트롤러에 대한 실행 가능한 대상 로봇 상태로 변환함으로써 다중 지점 접촉을 기반으로 하는 시각 촉각 정책인 접촉 기반 정책(CGP)을 제시합니다. CGP는 (i) 압축된 잠재 공간에서 미래의 로봇 상태와 촉각 피드백을 예측하는 조건부 확산 모델과 (ii) 예측된 로봇 상태-촉각 쌍을 규정 준수 컨트롤러의 실행 가능한 대상으로 변환하여 의도한 접촉을 실현할 수 있도록 학습된 접촉 일관성 매핑이라는 두 가지 구성 요소로 구성됩니다. 우리는 Digit360 손가락 끝 촉각 센서가 있는 실제 네 손가락 Allegro V5 손과 조밀한 전체 손 촉각 배열이 있는 시뮬레이션된 다섯 손가락 Tesollo DG-5F 손을 사용하여 CGP를 평가합니다. CGP는 손 조작, 섬세한 잡기, 도구 사용을 포함한 다양한 손재주 작업 전반에 걸쳐 시각 운동 및 시각 촉각 확산 정책 기준을 능가합니다.

Contact-rich dexterous manipulation with multi-finger hands remains an open challenge in robotics because task success depends on multi-point contacts that continuously evolve and are highly sensitive to object geometry, frictional transitions, and slip. Recently, tactile-informed manipulation policies have shown promise. However, most use tactile signals as additional observations rather than modeling contact state or how their action outputs interact with low-level controller dynamics. We present Contact-Grounded Policy (CGP), a visuotactile policy that grounds multi-point contacts by predicting coupled trajectories of actual robot state and tactile feedback, and using a learned contact-consistency mapping to convert these predictions into executable target robot states for a compliance controller. CGP consists of two components: (i) a conditional diffusion model that forecasts future robot state and tactile feedback in a compressed latent space, and (ii) a learned contact-consistency mapping that converts the predicted robot state-tactile pair into executable targets for a compliance controller, enabling it to realize the intended contacts. We evaluate CGP using a physical four-finger Allegro V5 hand with Digit360 fingertip tactile sensors, and a simulated five-finger Tesollo DG-5F hand with dense whole-hand tactile arrays. Across a range of dexterous tasks including in-hand manipulation, delicate grasping, and tool use, CGP outperforms visuomotor and visuotactile diffusion-policy baselines.

웨어러블 장치(예: 촉각 장갑)를 통해 수집된 인간의 시연은 정책 학습을 위한 빠르고 능숙한 감독을 제공하며 풍부하고 자연스러운 촉각 피드백을 통해 안내됩니다. 그러나 핵심 과제는 감지 방식과 구현의 차이에도 불구하고 인간이 수집한 촉각 신호를 로봇에 어떻게 전달하는가입니다. 터치를 통합하는 기존 인간-로봇(H2R) 접근 방식은 종종 동일한 촉각 센서를 가정하고, 쌍을 이루는 데이터가 필요하며, 인간 시연자와 로봇 사이의 구현 간격이 거의 또는 전혀 없어 확장성과 일반성이 제한됩니다. 우리는 인간이 수집한 촉각 신호를 다른 실시예의 로봇에 전달하는 교차 구현 촉각 정렬 방법인 TactAlign을 제안합니다. TactAlign은 쌍을 이루는 데이터 세트, 수동 라벨 또는 특권 정보 없이 수정된 흐름을 사용하여 인간과 로봇의 촉각 관찰을 공유 잠재 표현으로 변환합니다. 우리의 방법은 손-객체 상호 작용에서 파생된 의사 쌍에 의해 안내되는 저비용 잠재 전송을 가능하게 합니다. 우리는 TactAlign이 접촉이 많은 여러 작업(피버팅, 삽입, 뚜껑 닫기) 전반에 걸쳐 H2R 정책 전송을 개선하고, 인간 데이터(약 5분)를 사용하여 보이지 않는 개체 및 작업을 일반화하고, 매우 능숙한 작업(전구 나사 조이기)에서 제로 샷 H2R 전송을 가능하게 한다는 것을 보여줍니다.

Human demonstrations collected by wearable devices (e.g., tactile gloves) provide fast and dexterous supervision for policy learning, and are guided by rich, natural tactile feedback. However, a key challenge is how to transfer human-collected tactile signals to robots despite the differences in sensing modalities and embodiment. Existing human-to-robot (H2R) approaches that incorporate touch often assume identical tactile sensors, require paired data, and involve little to no embodiment gap between human demonstrator and the robots, limiting scalability and generality. We propose TactAlign, a cross-embodiment tactile alignment method that transfers human-collected tactile signals to a robot with different embodiment. TactAlign transforms human and robot tactile observations into an shared latent representation using a rectified flow, without paired datasets, manual labels, or privileged information. Our method enables low-cost latent transport guided by hand-object interaction-derived pseudo-pairs. We demonstrate that TactAlign improves H2R policy transfer across multiple contact-rich tasks (pivoting, insertion, lid closing), generalizes to unseen objects and tasks with human data (approximately 5 minutes), and enables zero-shot H2R transfer on a highly dexterous tasks (light bulb screwing).

대형 행동 모델(LBM)은 모방 학습을 광범위한 다중 작업 로봇 데이터에 대한 대규모 교육으로 확장하여 강력한 능숙한 조작 기능을 보여 주었지만 사용 가능한 로봇 데이터의 적용 범위가 부족하여 일반화는 여전히 제한되어 있습니다. 비용이 많이 드는 추가 데이터 수집 없이 이 범위를 확장하기 위해 최근 작업에서는 대상 로봇 데이터와 이기종 데이터 양식을 공동으로 학습하는 공동 학습에 점점 더 의존하고 있습니다. 그러나 다양한 공동 훈련 데이터 양식과 훈련 전략이 정책 성과에 어떤 영향을 미치는지는 아직 잘 알려져 있지 않습니다. 우리는 단일 및 다단계 훈련 전략에 걸쳐 표준 비전 언어 데이터, 로봇 궤적에 대한 조밀한 언어 주석, 교차 구현 로봇 데이터, 인간 비디오 및 개별 로봇 동작 토큰 등 5가지 공동 훈련 데이터 양식을 조사하는 대규모 실증적 연구를 제시합니다. 우리 연구에서는 4,000시간의 로봇 및 인간 조작 데이터와 5천만 개의 비전 언어 샘플을 활용하여 VLA(비전-언어-행동) 정책을 교육합니다. 우리는 58,000번의 시뮬레이션 출시와 2,835번의 실제 출시를 통해 89개 정책을 평가합니다. 우리의 결과는 다양한 형태의 비전 언어 및 교차 구현 로봇 데이터를 사용한 공동 훈련이 배포 변화, 보이지 않는 작업 및 언어 따르기에 대한 일반화를 실질적으로 향상시키는 반면, 개별 작업 토큰 변형은 통계적으로 유의미한 이점을 제공하지 않는다는 것을 보여줍니다. 또한 효과적인 양식을 결합하면 누적 이득이 발생하고 미세 조정을 통해 보이지 않는 장거리 민첩한 작업에 빠르게 적응할 수 있습니다. 함께, 이러한 결과는 확장 가능한 일반 로봇 정책을 구축하기 위한 공동 훈련 및 실제 지침에 대한 체계적인 이해를 제공합니다.

Large behavior models (LBMs) have shown strong dexterous manipulation capabilities by extending imitation learning to large-scale training on extensive multi-task robot data, yet their generalization remains limited by the insufficient coverage of available robot data. To expand this coverage without costly additional data collection, recent work increasingly relies on co-training: jointly learning from target robot data and heterogeneous data modalities. However, how different co-training data modalities and training strategies affect policy performance remains poorly understood. We present a large-scale empirical study examining five co-training data modalities—standard vision-language data, dense language annotations for robot trajectories, cross-embodiment robot data, human videos, and discrete robot action tokens—across single- and multi-phase training strategies. Our study leverages 4,000 hours of robot and human manipulation data and 50M vision–language samples to train vision-language-action (VLA) policies. We evaluate 89 policies over 58,000 simulation rollouts and 2,835 real-world rollouts. Our results show that co-training with various forms of vision-language and cross-embodiment robot data substantially improves generalization to distribution shifts, unseen tasks, and language following, while discrete action token variants yield no statistically significant benefits. Furthermore, combining effective modalities produces cumulative gains and enables rapid adaptation to unseen long-horizon dexterous tasks via fine-tuning. Together, these results provide a systematic understanding of co-training and practical guidance for building scalable generalist robot policies.

물체의 자세, 시점, 동적 교란에 걸쳐 로봇 조작을 일반화하는 것은 특히 몇 번의 시연만으로는 어렵습니다. 엔드투엔드 시각 운동 정책은 표현력이 풍부하지만 데이터가 부족한 반면, 계획 및 최적화는 명시적인 제약 조건을 충족하지만 인간이 보여주는 상호 작용 전략을 직접 포착하지는 않습니다. 우리는 정규화된 데모에서 객체 중심 모션 필드를 학습하여 시스템을 시연된 다양체 쪽으로 반복적으로 밀어 넣고 경량 자기 중심 실행 정책의 신뢰할 수 있는 작동 영역으로 밀어넣어 OOD(Out-of-Distribution) 실행을 완화하는 구조화된 프레임워크인 SID(Sliding into Distribution)를 제안합니다. 모션 필드는 데모 매니폴드에서 멀리 떨어져 있을 때 큰 교정 모션을 제공하고 수렴 근처에서 자연스럽게 사라지므로 상당한 자세 및 관점 이동 시 강력한 도달이 가능합니다. 도달한 체제 내에서 조건부 흐름 일치로 훈련된 자기 중심적 정책은 작업 관찰 일관성을 유지하는 운동학적으로 일관된 포인트 클라우드 재투영 증강의 지원을 받아 작업별 조작을 수행합니다. 6개의 실제 작업에서 SID는 단 두 번의 시연만으로 OOD 초기화에서 약 90%의 성공률을 달성했으며 산만함과 외부 방해로 인해 10% 미만의 감소율을 기록했습니다. 전반적으로 SID는 소수의 조작을 위한 새로운 패러다임을 제공합니다. 즉, 온라인 배포 복구를 통해 배포 전환을 명시적으로 관리합니다.

Generalizing robotic manipulation across object poses, viewpoints, and dynamic disturbances is difficult, especially with only a few demonstrations. End-to-end visuomotor policies are expressive but data-hungry, while planning and optimization satisfy explicit constraints but do not directly capture the interaction strategies demonstrated by humans. We propose Sliding into Distribution (SID), a structured framework that learns an object-centric motion field from canonicalized demonstrations to iteratively slide the system toward the demonstrated manifold and into the reliable operating region of a lightweight egocentric execution policy, mitigating out-of-distribution (OOD) execution. The motion field provides large corrective motions when far from the demonstration manifold and naturally vanishes near convergence, enabling robust reaching under substantial pose and viewpoint shifts. Within the reached regime, an egocentric policy trained with conditioned flow matching performs task-specific manipulation, supported by kinematically consistent point-cloud reprojection augmentation that preserves action–observation consistency. Across six real-world tasks, SID achieves approximately 90% success under OOD initializations with only two demonstrations, with under a 10% drop under distractors and external disturbances. Overall, SID provides a new paradigm for few-shot manipulation: explicitly managing distribution shift via online distribution recovery.

품질이 저하되고 매우 가변적인 이미지와 다양한 수중 시연을 수집하는 데 드는 비용으로 인해 수중 로봇이 잡는 것은 어렵습니다. 우리는 (i) 자체 감독 데이터 수집 파이프라인을 통해 성공적인 수중 파악 시연을 자동으로 수집하고 (ii) 육상과 수중 도메인 간극을 연결하고 조명 및 색상 변화에 강력한 깊이 기반 어포던스 표현을 통해 육상 인간 시연의 파악 지식을 전송하는 시스템을 소개합니다. 육상 휴대용 시연에 대해 훈련된 어포던스 모델은 기하학적 정렬을 통해 수중 제로샷으로 배포되고, 제어 조치를 생성하기 위해 어포던스 조건 확산 정책이 수중 시연에 대해 훈련됩니다. 풀 실험에서 우리의 접근 방식은 배경 이동에 대한 파악 성능과 견고성을 향상시키고 육지 데이터에서만 볼 수 있는 개체에 대한 일반화를 가능하게 하여 RGB 전용 기준선보다 뛰어난 성능을 발휘합니다.

Underwater robotic grasping is difficult due to degraded, highly variable imagery and the expense of collecting diverse underwater demonstrations. We introduce a system that (i) autonomously collects successful underwater grasp demonstrations via a self-supervised data collection pipeline and (ii) transfers grasp knowledge from on-land human demonstrations through a depth-based affordance representation that bridges the on-land–to–underwater domain gap and is robust to lighting and color shift. An affordance model trained on on-land handheld demonstrations is deployed underwater zero-shot via geometric alignment, and an affordance-conditioned diffusion policy is then trained on underwater demonstrations to generate control actions. In pool experiments, our approach improves grasping performance and robustness to background shifts, and enables generalization to objects seen only in on-land data, outperforming RGB-only baselines.

집과 같이 부분적으로 관찰 가능한 환경에서 작동하는 범용 로봇은 장기적인 자율성을 지원하기 위해 메모리가 필요합니다. 그들은 물체가 어디에 배치되었는지, 어떤 하위 작업이 인간 파트너에 의해 이미 완료되었는지, 기기가 켜졌을 때와 같은 다양한 유형의 과거 정보를 기억해야 합니다. 이 기능에는 효과적인 메모리 검색 메커니즘이 필요합니다. 그러나 직접 설계하거나 경험적 기반 검색 방법은 다양한 작업에서 일반화하는 데 실패하는 경우가 많습니다. 주의 기반 검색은 작업별 가정을 하지 않고 데이터에서 쿼리와 키를 학습하므로 유망한 대안을 제공합니다. 그러나 모방 학습에 주의 기반 메모리 검색 메커니즘을 직접 적용하면 두 가지 주요 과제가 발생합니다. (1) 정책은 과거에서 검색된 정보와 예측된 동작 간의 허위 상관 관계를 학습할 수 있습니다. (2) 예측 부정확성으로 인해 시간이 지남에 따라 메모리에 누적된 오류는 환경과의 상호 작용으로 인해 모델 표류 및 장거리 제어 실패로 이어집니다. 이러한 문제를 해결하기 위해 우리는 장거리 제어를 위한 주의 기반 메모리 검색 메커니즘을 갖춘 시력 운동 정책인 HALO를 소개합니다. 허위 상관관계를 완화하기 위해 HALO는 데모 궤적에서 작업 관련 질문-답변 쌍을 생성하고 비디오 질문-응답 목표로 정책을 공동으로 교육하여 VLM(비전 언어 모델)을 활용합니다. 이러한 감독은 검색 모듈이 작업과 관련된 정보에 집중하도록 권장합니다. 둘째, 폐쇄 루프 제어 중에 메모리에 누적된 오류의 영향을 줄이기 위해 HALO는 기록의 가장 관련 있는 부분으로만 검색을 제한하는 희소 주의를 사용합니다. 이러한 구성 요소를 함께 사용하면 최대 2분의 과거 경험에서 작업 관련 정보를 검색하도록 정책을 안내하여 보다 안정적인 장거리 제어가 가능해집니다.

General-purpose robots operating in partially observable environments such as homes require memory to support long-term autonomy. They must recall different types of past information, such as where objects were placed, which subtasks have already been completed by a human partner, and when an appliance was turned on This capability requires an effective memory retrieval mechanism. However, hand-designed or heuristic-based retrieval methods often fail to generalize in different tasks. Attention-based retrieval provides a promising alternative, as both queries and keys are learned from data without making task-specific assumptions. However, directly applying an attention-based memory retrieval mechanism in imitation learning introduces two key challenges: (1) the policy may learn spurious correlations between the information retrieved from the past and predicted actions, and (2) errors accumulated over time in the memory due to prediction inaccuracies, compounded by interactions with the environment, lead to model drift and cascading failures in long-horizon control. To address these challenges, we introduce HALO, a visuomotor policy equipped with an attention-based memory retrieval mechanism for long-horizon control. To mitigate spurious correlations, HALO leverages vision-language models (VLMs) by generating task-relevant question–answer pairs from demonstration trajectories and jointly training the policy with a video question– answering objective. This supervision encourages the retrieval module to focus on information that is relevant to the task. Second, to reduce the impact of accumulated errors in memory during closed-loop control, HALO uses sparse attention that restricts retrieval to only the most relevant parts of the history. Together, these components enable more reliable long-horizon control by guiding the policy to retrieve task-relevant information from up to two minutes of past experience.

비정형 환경에서 작동하는 로봇은 작업 전반에 걸쳐, 심지어 단일 실행 내에서도 변경될 수 있는 동적 제약 조건을 충족해야 합니다. 확산 정책은 데모를 통해 다중 모달 동작을 학습할 수 있지만 새로 발생하거나 진화하는 제약 조건에 대해 런타임에 훈련된 정책을 적용하는 것은 여전히 ​​열려 있는 과제입니다. 우리는 검색 증강 메모리를 활용하는 고정 변환기 확산 정책을 위한 런타임 적응 프레임워크인 RAG-Diff를 제안합니다. RAG-Diff는 (i) 상태 동작 스니펫 및 (ii) 제약 조건 주석과 함께 비전 언어 임베딩을 저장하는 메모리 뱅크인 PrefMem을 유지 관리합니다. 테스트 시 RAG-Diff는 PrefMem을 쿼리하여 가장 가까운 항목을 검색하고 이를 사용하여 두 가지 보완적인 방식으로 샘플링을 조정합니다. 첫째, I-Atten(내부 주의 재계산)은 검색된 조각을 추가 교차 주의 메모리 토큰으로 삽입하고 분류자 없는 안내 스타일 업데이트를 수행하여 노이즈 제거를 선호도와 일치하는 동작으로 바이어스합니다. 둘째, 예측 안내 메커니즘은 확산 샘플링 중에 검색된 제약 조건 매개변수를 통합하여 위반을 방지합니다. RAG-Diff의 효과를 입증하기 위해 우리는 개인화되고 시간에 따라 변하는 제약이 있는 영역으로 물리적 로봇 간병을 선택합니다. 먼저 접촉력 제한 및 회피 영역 제약 조건을 갖춘 시뮬레이션에서 적응된 PushT 환경을 벤치마킹했습니다. 그런 다음 (i) 침대 목욕의 상호 작용 및 어포던스 선호도, (ii) 의약품 전달의 ROM 기반 지원 수준 선호도, (iii) 선반 청소의 의미론적 선호도, (iv) RCareWorld 시뮬레이션과 실제 로봇 모두에서 수유의 궤적 선호도 등 다양한 선호 유형에 걸친 일련의 신체적 간병 작업에 대한 방법을 평가했습니다. 우리는 침대 목욕 작업에 대한 실제 사용자 연구를 추가로 수행했습니다. 결과는 RAG-Diff가 무유도 확산 및 기타 안내 또는 샘플링 기반 변형을 포함한 다양한 기준선에 비해 작업 성공과 제약 조건 만족도를 모두 향상시키는 것으로 나타났습니다.

Robots operating in unstructured environments must satisfy dynamic constraints that can change across tasks and even within a single execution. While diffusion policies can learn multimodal behaviors from demonstrations, adapting a trained policy at runtime to newly encountered or evolving constraints remains an open challenge. We propose RAG-Diff, a runtime adaptation framework for a frozen transformer diffusion policy that leverages retrieval-augmented memory. RAG-Diff maintains PrefMem, a memory bank that stores vision-language embeddings together with (i) state-action snippets and (ii) constraint annotations. At test time, RAG-Diff queries PrefMem to retrieve the nearest entry and uses it to steer sampling in two complementary ways. First, I-Atten (in-place attention recomputation) inserts the retrieved snippet as additional cross-attention memory tokens and performs a classifier-free-guidance-style update, biasing denoising toward preference-consistent motion. Second, a predictive guidance mechanism incorporates the retrieved constraint parameters during diffusion sampling to discourage violations. To demonstrate the effectiveness of RAG-Diff, we choose physical robot caregiving as a domain with personalized and time-varying constraints. We first benchmark on an adapted PushT environment in simulation with contact-force limits and region-to-avoid constraints. We then evaluated our method on a suite of physical caregiving tasks spanning diverse preference types: (i) interaction and affordance preferences in bed bathing, (ii) ROM-based assistance-level preferences in medicine delivery, (iii) semantic preferences in shelf cleaning, and (iv) trajectory preferences in feeding, in both RCareWorld simulation and with a real robot. We further conducted real-world user studies on the bed-bathing task. Results show that RAG-Diff improves both task success and constraint satisfaction compared to a range of baselines, including unguided diffusion and other guidance- or sampling-based variants.

모델 용량 및 데이터 획득에 대한 지속적인 확장에도 불구하고 VLA(Vision-Language-Action) 모델은 사소한 실행 편차가 실패로 이어질 수 있는 접촉이 많은 동적 조작 작업에서 취약한 상태로 남아 있습니다. 강화 학습(RL)은 견고성을 향한 원칙적인 경로를 제공하지만 실제 세계의 정책에 따른 RL은 안전 위험, 하드웨어 비용 및 환경 재설정으로 인해 제한됩니다. 이러한 격차를 해소하기 위해 우리는 상상력을 통한 로봇 강화 학습의 확장 가능한 프레임워크인 RISE를 제시합니다. 그 핵심에는 (i) 제어 가능한 역학 모델을 통해 다중 시점 미래를 예측하고 (ii) 진행 가치 모델로 상상한 결과를 평가하여 정책 개선을 위한 유익한 이점을 생성하는 구성 세계 모델이 있습니다. 이러한 구성 설계를 통해 상태와 가치는 가장 적합하면서도 뚜렷한 아키텍처와 목표에 따라 모델링될 수 있습니다. 이러한 구성 요소는 비용이 많이 드는 물리적 상호 작용 없이 가상의 출시를 지속적으로 생성하고 이점을 추정하며 가상의 공간에서 정책을 업데이트하는 폐쇄 루프 자체 개선 파이프라인에 통합됩니다. 세 가지 까다로운 실제 작업에서 RISE는 동적 벽돌 분류에서 절대 성능이 각각 35% 이상, 배낭 포장에서 45%, 상자 마감에서 35% 이상 증가하는 등 이전 기술에 비해 상당한 개선을 가져왔습니다.

Despite the sustained scaling on model capacity and data acquisition, Vision–Language–Action (VLA) models remain brittle in contact-rich and dynamic manipulation tasks, where minor execution deviations can compound into failures. While reinforcement learning (RL) offers a principled path to robustness, on-policy RL in the physical world is constrained by safety risk, hardware cost, and environment reset. To bridge this gap, we present RISE, a scalable framework of robotic reinforcement learning via imagination. At its core is a Compositional World Model that (i) predicts multi-view future via a controllable dynamics model, and (ii) evaluates imagined outcomes with a progress value model, producing informative advantages for the policy improvement. Such compositional design enables state and value to be modeled by best-suited yet distinct architectures and objectives. These components are integrated into a closed-loop self-improving pipeline that continuously generates imaginary rollouts, estimates advantages, and updates the policy in imaginary space without costly physical interaction. Across three challenging real-world tasks, RISE yields significant improvement over prior art, with more than +35% absolute performance increase in dynamic brick sorting, +45% for backpack packing, and +35% for box closing, respectively.

휴머노이드 로봇은 구조화되지 않은 환경에서 복잡한 전신 상호 작용 작업을 실행할 수 있는 상당한 잠재력을 보여줍니다. 인간-물체 상호 작용(HOI)의 최근 발전이 상당했지만, 널리 사용되는 방법론은 대상이 로봇의 엔드 이펙터에 견고하게 결합되고 해당 상태가 로봇의 운동학에 의해 엄격하게 제한되는 완전히 작동되는 물체의 조작을 주로 다루고 있습니다. 이 패러다임은 복잡한 결합력과 빈번한 시각적 폐색으로 인해 심각한 제어 문제를 제기하는 독립적인 역학 및 비홀로노믹 제약을 특징으로 하는 작동되지 않은 객체의 만연한 클래스를 무시합니다. 이러한 격차를 해소하기 위해 우리는 외부 상태 추정에 의존하지 않고 다양한 객체 역학에 걸쳐 강력한 상호 작용을 가능하게 하도록 설계된 통합 프레임워크인 HAIC를 제안합니다. 우리 접근 방식의 핵심은 고유 감각 기록에서만 고차원 물체 상태, 특히 속도와 가속도를 추론하는 새로운 역학 예측기입니다. 이러한 예측은 정적 기하학적 사전에 명시적으로 투영되어 동적 점유의 공간적 기반 표현을 구성하여 정책이 시각적 사각지대에서 충돌 경계 및 접촉 어포던스를 내부화할 수 있도록 합니다. 우리는 세계 모델이 학생 정책 탐색에 지속적으로 적응하는 비대칭 미세 조정 전략을 사용하여 분포 변화에 따른 강력한 상태 추정을 보장합니다. 우리는 Unitree G1 휴머노이드 로봇에 대한 프레임워크를 평가합니다. 경험적 결과에 따르면 HAIC는 관성 물리적 섭동을 사전에 보상하여 다양한 중량 부하 조건에서 스케이트보드 타기, 카트 밀기, 카트 당기기를 포함한 민첩한 개체 상호 작용에서 높은 성공률을 달성하는 동시에 HAIC는 여러 개체의 역학을 예측하여 장거리 작업과 구성된 지형에서 상자 운반과 관련된 다중 개체 상호 작용을 동시에 마스터하는 것으로 나타났습니다.

Humanoid robots exhibit significant potential for executing complex whole-body interaction tasks in unstructured environments. While recent advancements in Human-Object Interaction (HOI) have been substantial, prevailing methodologies predominantly address the manipulation of fully actuated objects, where the target is rigidly coupled to the robot’s end-effector and its state is strictly constrained by the robot’s kinematics. This paradigm neglects the pervasive class of underactuated objects characterized by independent dynamics and non-holonomic constraints, which pose significant control challenges due to complex coupling forces and frequent visual occlusions. To bridge this gap, we propose HAIC, a unified framework designed to enable robust interaction across a spectrum of object dynamics without reliance on external state estimation. Central to our approach is a novel dynamics predictor that infers high-order object states, specifically velocity and acceleration, solely from proprioceptive history. These predictions are explicitly projected onto static geometric priors to construct a spatially grounded representation of dynamic occupancy, allowing the policy to internalize collision boundaries and contact affordances in visual blind spots. We employ an asymmetric fine-tuning strategy where the world model continuously adapts to the student policy’s exploration, ensuring robust state estimation under distribution shifts. We evaluate our framework on a Unitree G1 humanoid robot. Empirical results demonstrate that HAIC achieves high success rates in agile object interactions, including skateboarding, cart pushing, and cart pulling under various weight load conditions, by proactively compensating for inertial physical perturbations, while HAIC simultaneously masters multi-object interaction involving long-horizon tasks and carrying a box across composed terrain by predicting the dynamics of multiple objects.

EWM(Embodied World Model)은 VLA(Vision-Language-Action) 시스템을 평가하기 위한 확장 가능하고 위험이 없는 패러다임으로 등장했습니다. 그러나 평가 벤치마크로서의 신뢰성은 저차원 동작과 고차원 비디오 합성 간의 표현 격차로 인해 제한되는 경우가 많습니다. 이러한 격차는 기하학적 대응 부족으로 이어지며, 장거리 롤아웃에서 누적된 궤적 드리프트와 일관되지 않은 개체-로봇 상호 작용으로 나타납니다. 이러한 격차를 해소하기 위해 우리는 시각적 공간과 매개변수 공간의 시너지 효과를 통해 일관된 장거리 생성을 달성하는 프레임워크인 ViPSim을 제안합니다. 우리는 시각적 공간을 명시적인 공간 사전 영역으로 정의하고 픽셀 정렬된 동작 투영, 카메라 관점, 깊이 정보가 있는 장면 기하학 및 로봇 형태학적 마스크를 통합하여 조밀한 구조적 제약을 제공합니다. 동시에 매개변수 공간은 정확한 동작 안내를 제공하기 위해 원시 동작 시퀀스와 카메라 매트릭스를 주입하는 수치 드라이버 영역으로 정의됩니다. ViPSim은 이 두 공간을 통합함으로써 생성된 상태가 기하학적 경계에 의해 동시에 제한되고 정확한 수치 명령에 의해 구동되도록 보장합니다. 광범위한 실험을 통해 ViPSim은 백본에 구애받지 않으며 궤적 일관성을 크게 향상시키는 것으로 나타났습니다. 특히, 우리의 접근 방식은 변형 가능한 개체(예: 천 접기)와 복잡한 상호 작용을 생성하는 새로운 기능을 보여주고 배포 외 및 교차 구현 시나리오에서 강력한 성능을 유지하여 구현된 지능의 자동화된 평가를 위한 높은 충실도의 기반을 제공합니다.

Embodied World Models (EWMs) have emerged as a scalable and risk-free paradigm for evaluating Vision-Language-Action (VLA) systems. However, their reliability as evaluation benchmarks is often limited by the representation gap between low-dimensional actions and high-dimensional video synthesis. This gap leads to a lack of geometric correspondence, manifesting as accumulated trajectory drift and inconsistent object-robot interactions in long-horizon rollouts. To bridge this gap, we propose ViPSim, a framework that achieves consistent long-horizon generation through the synergistic collaboration of Visual and Parameter Spaces. We define the Visual Space as a domain of explicit spatial priors, integrating pixel-aligned projections of actions, camera perspectives, depth-informed scene geometry, and robot morphological masks to provide dense structural constraints. Concurrently, the Parameter Space is defined as a domain of numerical drivers that injects raw action sequences and camera matrices to provide precise motion guidance. By unifying these two spaces, ViPSim ensures that the generated states are simultaneously constrained by geometric boundaries and driven by precise numerical commands. Extensive experiments demonstrate that ViPSim is backbone-agnostic and significantly enhances trajectory consistency. Notably, our approach exhibits emergent capabilities in generating complex interactions with deformable objects (e.g., cloth folding) and maintains robust performance in out-of-distribution and cross-embodiment scenarios, providing a high-fidelity foundation for the automated evaluation of embodied intelligence.

표현력이 풍부하고 정확한 방식으로 로봇 조작 작업을 지정하는 것은 여전히 중요한 과제로 남아 있습니다. 시각적 목표는 간결하고 명확한 작업 사양을 제공하지만 기존 목표 조건 정책은 작업 진행 상황을 명시적으로 모델링하지 않고 단일 단계 작업 예측에 의존하기 때문에 장기적인 조작에 어려움을 겪는 경우가 많습니다. 우리는 목표 조건 시각적 세계 모델과 다중 규모 시간 제어를 통합하는 일반적인 목표 조건 조작 정책인 Act2Goal을 제안합니다. 현재 관찰과 목표 시각적 목표가 주어지면 세계 모델은 긴 수평 구조를 포착하는 그럴듯한 중간 시각적 상태 시퀀스를 생성합니다. 이 시각적 계획을 강력한 실행으로 변환하기 위해 우리는 상상된 궤적을 세밀한 폐쇄 루프 제어를 위한 조밀한 근위 프레임과 전역 작업 일관성을 고정하는 희소 말단 프레임으로 분해하는 다중 규모 시간 해싱을 도입합니다. 정책은 이러한 표현을 엔드투엔드 교차 주의를 통해 모터 제어와 결합하여 로컬 교란에 반응하는 동시에 일관된 장거리 동작을 가능하게 합니다. 시뮬레이션과 실제 환경 모두에서 광범위한 실험을 통해 대규모 모방 학습에서 초기화된 Act2Goal이 광범위한 장거리 조작 작업에서 강력한 성능을 달성한다는 것을 보여줍니다. 오프라인 일반화 외에도 Act2Goal은 사후 목표 재라벨링 및 LoRA 기반 미세 조정을 통해 보상 없는 온라인 자율 개선을 지원하므로 외부 감독 없이 배포 중에 신속한 적응이 가능합니다. 실제 실험에서는 자율적 상호작용이 이루어진 후 몇 분 만에 배포되지 않은 까다로운 작업의 성공률이 30%에서 90%로 향상되어 오프라인 학습을 강력하게 보완하는 온라인 교육의 효과가 입증되었습니다.

Specifying robotic manipulation tasks in a manner that is both expressive and precise remains a central challenge. While visual goals provide a compact and unambiguous task specification, existing goal-conditioned policies often struggle with long-horizon manipulation due to their reliance on single-step action prediction without explicit modeling of task progress. We propose Act2Goal, a general goal-conditioned manipulation policy that integrates a goal-conditioned visual world model with multi-scale temporal control. Given a current observation and a target visual goal, the world model generates a plausible sequence of intermediate visual states that captures long-horizon structure. To translate this visual plan into robust execution, we introduce Multi-Scale Temporal Hashing, which decomposes the imagined trajectory into dense proximal frames for fine-grained closed-loop control and sparse distal frames that anchor global task consistency. The policy couples these representations with motor control through end-to-end cross-attention, enabling coherent long-horizon behavior while remaining reactive to local disturbances. Extensive experiments in both simulation and real-world environments demonstrate that Act2Goal, initialized from large-scale imitation learning, achieves strong performance across a wide range of long-horizon manipulation tasks. Beyond offline generalization, Act2Goal also supports reward-free online autonomous improvement via hindsight goal relabeling and LoRA-based finetuning, enabling rapid adaptation during deployment without external supervision. In real world experiments, it improves success rates from 30% to 90% on challenging out-of-distribution tasks within minutes of autonomous interaction, validating the effectiveness of online training as a powerful complement to offline learning.

이 작업은 비전 언어 사전 훈련과 함께 비디오 세계 모델링이 로봇 학습을 위한 뚜렷한 기반을 구축한다는 점을 강조합니다. 환경 역학을 포착함으로써 비디오 세계 모델을 통해 로봇은 미래 상태에 가까운 "상상"을 할 수 있습니다. 이는 효과적인 계획에 필수적인 기능입니다. 이에 영감을 받아 프레임 예측과 동작 추론을 통합하는 자동 회귀 확산 프레임워크인 CauVA를 소개합니다. 우리의 접근 방식은 세 가지 주요 혁신을 특징으로 합니다. (1) 시각적 프레임과 동작을 단일 인과 순서로 처리하는 자동 회귀 혼합기(MoT); (2) 실제 상호작용으로부터 시간적 맥락을 유지하기 위해 KV 캐시를 사용하는 히스토리 통합 메커니즘; (3) 빠른 추론을 위해 잡음이 제거된 중간 비디오에서 직접 디코딩 작업을 가능하게 하는 잡음 잠재 증강 전략. 시뮬레이션 및 실제 벤치마크에 대한 평가는 CauVA가 장거리, 고정밀 및 변형 가능한 개체 작업을 포함한 복잡한 조작에 탁월한 것으로 나타났습니다. 우리의 코드와 모델은 공개적으로 이용 가능합니다.

This work highlights that video world modeling, alongside vision-language pre-training, establishes a distinct foundation for robot learning. By capturing environmental dynamics, video world models enable the robot to “imagine” near future states—a capability essential for effective planning. Inspired by this, we introduce CauVA, an autoregressive diffusion framework that unifies frame prediction and action inference. Our approach features three key innovations: (1) an autoregressive Mixture-of-Transformers (MoT) that processes visual frames and actions as a single causal sequence; (2) a history integration mechanism using KV cache to maintain temporal context from real-world interactions; and (3) a noisy latent augmentation strategy that enables decoding actions directly from intermediate denoised videos for fast inference. Evaluations on simulation and real-world benchmarks demonstrate that CauVA excels in complex manipulation, including long-horizon, high-precision, and deformable object tasks. Our code and models are publicly available.

시뮬레이션과 실제 역학 간의 불일치로 인해 종종 실패가 발생하기 때문에 시뮬레이션에서 실제로의 전환은 로봇 공학의 핵심 과제로 남아 있습니다. 강화 학습은 적응을 위한 원칙적인 메커니즘을 제공하는 반면, 기존 시뮬레이션-실제 미세 조정 방법은 실제 로봇 공학의 일반적인 낮은 데이터 체제에서 탐색 및 장거리 크레딧 할당에 어려움을 겪습니다. 시뮬레이터의 구조적 사전 모델을 잠재 세계 모델로 추출하고 온라인 계획 및 지도 역학 미세 조정을 통해 신속한 현실 세계 적응을 가능하게 하는 시뮬레이션-실제 프레임워크인 \texttt{Simulation Distillation}(\texttt{SimDist})을 소개합니다. 시뮬레이션에서 직접 보상 및 가치 모델을 전송함으로써 \texttt{SimDist}는 배포 중 가치 학습을 요구하지 않고 원시 인식에서 조밀한 계획 신호를 제공합니다. 결과적으로 실제 적응은 단기적인 시스템 식별로 줄어들어 장기적인 학점 할당을 피하고 빠르고 안정적인 개선을 가능하게 합니다. 정확한 조작과 네발 달린 이동 작업 전반에 걸쳐 \texttt{SimDist}는 데이터 효율성, 안정성 및 최종 성능 면에서 이전 방법보다 훨씬 뛰어납니다.

Simulation-to-real transfer remains a central challenge in robotics, as mismatches between simulated and real-world dynamics often lead to failures. While reinforcement learning offers a principled mechanism for adaptation, existing sim-to-real finetuning methods struggle with exploration and long-horizon credit assignment in the low-data regimes typical of real-world robotics. We introduce \texttt{Simulation Distillation} (\texttt{SimDist}), a sim-to-real framework that distills structural priors from a simulator into a latent world model and enables rapid real-world adaptation via online planning and supervised dynamics finetuning. By transferring reward and value models directly from simulation, \texttt{SimDist} provides dense planning signals from raw perception without requiring value learning during deployment. As a result, real-world adaptation reduces to short-horizon system identification, avoiding long-horizon credit assignment and enabling fast, stable improvement. Across precise manipulation and quadruped locomotion tasks, \texttt{SimDist} substantially outperforms prior methods in data efficiency, stability, and final performance.

동작 조건 비디오 예측 모델(종종 월드 모델이라고도 함)은 로봇 공학 애플리케이션에 대한 강력한 잠재력을 보여 주었지만 기존 월드 모델은 느리고 장기적인 관점에서 정확한 물리적 상호 작용을 포착하는 데 어려움을 겪는 경우가 많아 확장 가능한 로봇 정책 훈련 및 평가에 사용이 제한됩니다. 우리는 중간 크기의 로봇 상호 작용 데이터 세트를 사용하여 대화형 세계 모델을 구축하고 확장 가능한 로봇 정책 훈련 및 평가를 가능하게 하는 프레임워크인 Interactive World Simulator를 제시합니다. 실험에서 우리는 세계 모델이 1) 물리적으로 정확한 픽셀 수준 예측을 생성하고 2) 단일 RTX 4090 GPU에서 15FPS로 10분 이상 안정적인 장거리 상호 작용을 지원한다는 것을 보여줍니다. 우리의 프레임워크는 확산 정책, Action Chunking Transformer 및 π-시리즈 정책을 포함한 모방 정책을 훈련하기 위해 세계 모델과의 상호 작용을 통해 수집된 데이터를 사용합니다. 고정된 객체, 변형 가능한 객체, 객체 더미 및 이들의 상호 작용을 포함하는 다양한 작업에 대한 광범위한 실제 평가를 통해 우리는 세계 모델 생성 데이터에 대해 훈련된 모방 정책이 동일한 양의 실제 데이터에 대해 훈련된 정책과 비슷하게 수행된다는 것을 발견했습니다. 또한, 우리는 다양한 작업에 걸쳐 세계 모델과 현실 세계 모두에서 정책을 평가하고 세계 모델과 현실 세계의 성과 사이의 강한 상관관계를 관찰합니다. 이러한 결과는 Interactive World Simulator를 확장 가능한 로봇 데이터 생성과 충실하고 재현 가능한 정책 평가를 가능하게 하는 안정적이고 물리적으로 일관된 대리자로 확립합니다.

Action-conditioned video prediction models (often referred to as world models) have shown strong potential for robotics applications, but existing world models are often slow and struggle to capture accurate physical interactions over long horizons, limiting their use for scalable robot policy training and evaluation. We present Interactive World Simulator, a framework that builds interactive world models using a moderate-sized robot interaction dataset and enables scalable robot policy training and evaluation. In our experiments, we show that our world models 1) produce physically accurate pixel-level predictions, and 2) support stable long-horizon interactions for more than 10 minutes at 15 FPS on a single RTX 4090 GPU. Our framework uses data collected through interaction with the world models to train imitation policies, including Diffusion Policy, Action Chunking Transformer, and π-series policies. Through extensive real-world evaluation across diverse tasks involving rigid objects, deformable objects, object piles, and their interactions, we find that imitation policies trained on world-model-generated data perform comparably to policies trained on the same amount of real-world data. Additionally, we evaluate policies both within the world models and in the real world across diverse tasks, and observe a strong correlation between performance in the world models and in the real world. Together, these results establish the Interactive World Simulator as a stable and physically consistent surrogate that enables scalable robotic data generation and faithful, reproducible policy evaluation.

현재의 휴머노이드 전신 제어 프레임워크는 주로 정적 환경 가정에 의존하지만, 높은 역동성과 복잡한 상호 작용이 특징인 작업을 처리하는 것은 엄청난 과제를 제시합니다. 이 논문에서 우리는 제대로 작동되지 않은 바퀴 플랫폼에서 안정적인 동적 조작이 필요한 매우 어려운 작업인 휴머노이드 스케이트보드에 대해 설명합니다. 이 통합 시스템은 비홀로노믹 제약 조건과 긴밀하게 결합된 인간-물체 상호 작용에 의해 관리됩니다. 이 작업을 성공적으로 수행하려면 기계적으로 결합되고 동적으로 불안정한 스케이트보드에서 하이브리드 접촉 역학과 강력한 균형 제어를 동시에 숙달해야 합니다. 앞서 언급한 과제를 극복하기 위해 우리는 휴머노이드 스케이트보드 시스템 모델링과 물리학 인식 전신 제어를 통합하는 학습 기반 프레임워크인 HUSKY를 제안합니다. 우리는 먼저 보드 기울기와 트럭 조향 각도 사이의 결합 관계를 모델링하여 시스템 역학에 대한 원칙적인 분석을 가능하게 합니다. 이를 바탕으로 HUSKY는 AMP(Adversarial Motion Priors)를 활용하여 인간과 같은 미는 동작을 학습하고 기울어져 조종하는 동작을 위한 물리학 기반의 방향 지향 전략을 사용합니다. 또한 궤적 안내 메커니즘은 밀기와 조향 사이의 부드럽고 안정적인 전환을 보장합니다. Unitree G1 휴머노이드 플랫폼의 실험 결과는 우리의 프레임워크가 실제 시나리오에서 스케이트보드를 안정적이고 민첩하게 조작할 수 있음을 보여줍니다.

While current humanoid whole-body control frameworks predominantly rely on the static environment assumptions, addressing tasks characterized by high dynamism and complex interactions presents a formidable challenge. In this paper, we address humanoid skateboarding, a highly challenging task requiring stable dynamic maneuvering on an underactuated wheeled platform. This integrated system is governed by non-holonomic constraints and tightly coupled human-object interactions. Successfully executing this task requires simultaneous mastery of hybrid contact dynamics and robust balance control on a mechanically coupled, dynamically unstable skateboard. To overcome the aforementioned challenges, we propose HUSKY, a learning-based framework that integrates humanoid-skateboard system modeling and physics-aware whole-body control. We first model the coupling relationship between board tilt and truck steering angles, enabling a principled analysis of system dynamics. Building upon this, HUSKY leverages Adversarial Motion Priors (AMP) to learn human-like pushing motions and employs a physics-guided, heading-oriented strategy for lean-to-steer behaviors. Moreover, a trajectory-guided mechanism ensures smooth and stable transitions between pushing and steering. Experimental results on the Unitree G1 humanoid platform demonstrate that our framework enables stable and agile maneuvering on a skateboard in real-world scenarios.

최근 휴머노이드 운동의 발전으로 다양한 지형에서 안정적인 보행이 가능해졌지만, 매우 역동적인 인간 동작의 민첩성과 적응성을 포착하는 것은 여전히 ​​해결해야 할 과제로 남아 있습니다. 특히, 복잡한 환경에서 민첩한 파쿠르는 낮은 수준의 견고함뿐만 아니라 인간과 같은 동작 표현력, 장기적인 기술 구성 및 인식 중심의 의사 결정을 요구합니다. 본 논문에서는 휴머노이드 로봇이 까다로운 장애물 코스에서 장거리 비전 기반 파쿠르를 자율적으로 수행할 수 있도록 하는 모듈식 프레임워크인 Perceptive Humanoid Parkour(PHP)를 제시합니다. 우리의 접근 방식은 먼저 기능 공간에서 가장 가까운 이웃 검색으로 공식화된 모션 매칭을 활용하여 대상이 변경된 원자 인간 기술을 긴 수평 운동학 궤적으로 구성합니다. 이 프레임워크는 역동적인 인간 동작의 우아함과 유동성을 유지하면서 복잡한 기술 체인의 유연한 구성과 원활한 전환을 가능하게 합니다. 다음으로, 이러한 구성된 동작에 대한 동작 추적 강화 학습(RL) 전문가 정책을 훈련하고 DAgger와 RL의 조합을 사용하여 이를 단일 깊이 기반 다중 기술 학생 정책으로 정제합니다. 결정적으로, 인식과 기술 구성의 조합은 자율적이고 상황을 인식하는 의사 결정을 가능하게 합니다. 온보드 깊이 감지와 별개의 2D 속도 명령만 사용하여 로봇은 다양한 기하학적 구조와 높이의 장애물을 넘어갈지, 올라갈지, 뛰어 넘을지, 굴러갈지를 선택하고 실행합니다. 우리는 Unitree G1 휴머노이드 로봇에 대한 광범위한 실제 실험을 통해 프레임워크를 검증하고, 최대 1.25m(로봇 높이 96%)의 높은 장애물 등반, 실시간 장애물 교란에 대한 폐쇄 루프 적응을 통한 장거리 다중 장애물 횡단과 같은 매우 역동적인 파쿠르 기술을 보여줍니다.

While recent advances in humanoid locomotion have achieved stable walking on varied terrains, capturing the agility and adaptivity of highly dynamic human motions remains an open challenge. In particular, agile parkour in complex environments demands not only low-level robustness, but also human-like motion expressiveness, long-horizon skill composition, and perception-driven decision-making. In this paper, we present Perceptive Humanoid Parkour (PHP), a modular framework that enables humanoid robots to autonomously perform long-horizon, vision-based parkour across challenging obstacle courses. Our approach first leverages motion matching, formulated as nearest-neighbor search in a feature space, to compose retargeted atomic human skills into long-horizon kinematic trajectories. This framework enables the flexible composition and smooth transition of complex skill chains while preserving the elegance and fluidity of dynamic human motions. Next, we train motion-tracking reinforcement learning (RL) expert policies for these composed motions, and distill them into a single depth-based, multi-skill student policy, using a combination of DAgger and RL. Crucially, the combination of perception and skill composition enables autonomous, context-aware decision-making: using only onboard depth sensing and a discrete 2D velocity command, the robot selects and executes whether to step over, climb onto, vault or roll off obstacles of varying geometries and heights. We validate our framework with extensive real-world experiments on a Unitree G1 humanoid robot, demonstrating highly dynamic parkour skills such as climbing tall obstacles up to 1.25 m (96% robot height), as well as long-horizon multi-obstacle traversal with closed-loop adaptation to real-time obstacle perturbations.

까다로운 인간형 이동 조작 작업을 해결하기 위한 개방형 기반 모델인 Ψ₀(Psi-Zero)를 소개합니다. 기존 접근 방식은 크고 다양한 인간 및 휴머노이드 데이터에 대한 공동 훈련을 통해 이 근본적인 문제를 해결하려고 시도하는 경우가 많지만, 인간과 휴머노이드 로봇 간의 근본적인 운동학 및 모션 차이로 인해 이 전략이 차선책이라고 주장합니다. 따라서 상당한 양의 데이터에도 불구하고 데이터 효율성과 모델 성능은 여전히 ​​만족스럽지 않습니다. 이러한 문제를 해결하기 위해 Ψ₀는 학습 프로세스를 분리하여 이기종 데이터 소스의 유용성을 극대화합니다. 구체적으로, 우리는 다양한 학습 목표를 가진 단계적 훈련 패러다임을 제안합니다. 먼저, 우리는 일반화 가능한 시각적 행동 표현을 얻기 위해 대규모 자기 중심적 인간 비디오에 대한 VLM 백본을 자동 회귀적으로 사전 훈련합니다. 그런 다음, 정밀한 로봇 관절 제어를 학습하기 위해 고품질 휴머노이드 로봇 데이터를 기반으로 흐름 기반 동작 전문가를 사후 교육합니다. 우리의 연구는 중요하지만 종종 간과되는 데이터 레시피를 추가로 식별합니다. 시끄러운 인터넷 클립이나 이질적인 교차 구현 로봇 데이터 세트로 확장하는 접근 방식과 달리, 우리는 고품질 자기 중심적 인간 조작 데이터에 대한 사전 교육과 도메인별 실제 인간형 궤적에 대한 사후 교육이 탁월한 성능을 제공한다는 것을 보여줍니다. 광범위한 실제 실험을 통해 \ours\는 약 800시간의 인간 비디오 데이터와 30시간의 실제 로봇 데이터를 사용하여 최고의 성능을 달성했으며, 여러 실제 작업과 시뮬레이션 작업에 걸쳐 전체 성공률에서 40% 이상 더 많은 10배 이상의 데이터로 사전 훈련된 기준선을 능가하는 것으로 나타났습니다. 우리는 데이터 처리 및 훈련 파이프라인, 휴머노이드 기반 모델, 실시간 행동 추론 엔진을 포함하여 전체 생태계를 커뮤니티에 오픈 소스화할 것입니다.

We introduce Ψ₀ (Psi-Zero), an open foundation model to address challenging humanoid loco-manipulation tasks. While existing approaches often attempt to address this fundamental problem by co-training on large and diverse human and humanoid data, we argue that this strategy is suboptimal due to the fundamental kinematic and motion disparities between humans and humanoid robots. Therefore, data efficiency and model performance remain unsatisfactory despite the considerable data volume. To address this challenge, Ψ₀ decouples the learning process to maximize the utility of heterogeneous data sources. Specifically, we propose a staged training paradigm with different learning objectives: First, we autoregressively pre-train a VLM backbone on large-scale egocentric human videos to acquire generalizable visual-action representations. Then, we post-train a flow-based action expert on high-quality humanoid robot data to learn precise robot joint control. Our research further identifies a critical yet often overlooked data recipe: in contrast to approaches that scale with noisy Internet clips or heterogeneous cross-embodiment robot datasets, we demonstrate that pre-training on high-quality egocentric human manipulation data followed by post-training on domain-specific real-world humanoid trajectories yields superior performance. Extensive real-world experiments demonstrate that \ours\ achieves the best performance using only about 800 hours of human video data and 30 hours of real-world robot data, outperforming baselines pre-trained on more than 10× as much data by over 40% in overall success rate across multiple real and simulation tasks. We will open-source the entire ecosystem to the community, including a data processing and training pipeline, a humanoid foundation model, and a real-time action inference engine.

최근의 발전은 직립 운동, 추락 회복 및 전신 조정과 같은 개별 휴머노이드 기술에서 강력한 성능을 보여주었지만, 이러한 모든 기술을 숙달하는 단일 정책을 배우는 것은 관련된 다양한 역학 및 상충되는 제어 목표로 인해 여전히 어려운 과제로 남아 있습니다. 이 문제를 해결하기 위해 비전 기반 일반 인간형 이동 정책을 훈련하기 위한 프레임워크인 X-Loco를 소개합니다. X-Loco는 여러 오라클 전문가 정책을 교육하고 여러 전문가 정책을 동적으로 활용하여 비전 기반 학생 정책을 안내하는 사례 적응형 전문가 선택 메커니즘을 통해 시너지 효과가 있는 정책 증류를 채택합니다. 이 디자인을 통해 학생은 추락 회복부터 지형 횡단 및 전신 조정 기술에 이르기까지 광범위한 이동 기술을 습득할 수 있습니다. 우리가 아는 한, X-Loco는 직립 운동, 전신 조정 및 추락 회복을 공동으로 통합하는 동시에 기준 동작에 의존하지 않고 속도 명령에 의해서만 작동하는 비전 기반 휴머노이드 운동을 보여주는 최초의 프레임워크입니다. 실험 결과에 따르면 X-Loco는 추락 회복 및 지형 횡단과 같은 작업을 통해 입증된 탁월한 성능을 달성했습니다. 절제 연구는 우리의 프레임워크가 전문 지식을 효과적으로 활용하고 학습 효율성을 향상시킨다는 점을 더욱 강조합니다.

While recent advances have demonstrated strong performance in individual humanoid skills such as upright locomotion, fall recovery and whole-body coordination, learning a single policy that masters all these skills remains challenging due to the diverse dynamics and conflicting control objectives involved. To address this, we introduce X-Loco, a framework for training a vision-based generalist humanoid locomotion policy. X-Loco trains multiple oracle specialist policies and adopts a synergetic policy distillation with a case-adaptive specialist selection mechanism, which dynamically leverages multiple specialist policies to guide a vision-based student policy. This design enables the student to acquire a broad spectrum of locomotion skills, ranging from fall recovery to terrain traversal and whole-body coordination skills. To the best of our knowledge, X-Loco is the first framework to demonstrate vision-based humanoid locomotion that jointly integrates upright locomotion, whole-body coordination and fall recovery, while operating solely under velocity commands without relying on reference motions. Experimental results show that X-Loco achieves superior performance, demonstrated by tasks such as fall recovery and terrain traversal. Ablation studies further highlight that our framework effectively leverages specialist expertise and enhances learning efficiency.

휴머노이드 로봇의 안전한 조작 중심 탐색을 달성하는 것은 근본적으로 운동으로 인한 지각 왜곡(의미 기하학 왜곡 유발)과 환경 내 변화(지도-현실 불일치 유발)라는 두 가지 요인으로 인해 근본적으로 어려움을 겪습니다. 기존 정적 장면 그래프는 이러한 조건에서 실패하여 상호 작용 실패로 이어지는 경우가 많습니다. 이 문제를 해결하기 위해 로봇을 수동적인 지도 사용자에서 능동적인 지식 진화자로 변환하는 계층적 프레임워크인 다중 모드 상호 작용 필드(MIF)를 소개합니다. MIF는 세 가지 시너지 효과 필드를 구성합니다. (i) 보행 진동 소음을 억제하기 위해 신뢰 게이트 3D 가우스 스플래팅을 활용하여 노이즈가 제거된 모양 필드; (ii) 의미론적 추론을 위한 계층적 공간 필드; (iii) 대상 개체에 대한 엄격한 상호 작용 포즈 안전(IPS) 검증을 위해 충실도가 높은 메시를 재구성하기 위해 Flow Matching 기반 생성 모델을 활용하는 형상 필드. 결정적으로 우리는 환경 변화에 적응하기 위해 폐쇄 루프 상호 작용 및 적응 메커니즘을 제안합니다. 다중 모달 불일치 점수 \mathcal{D}를 모니터링함으로써 시스템은 센서 소음과 실제 환경 변화(예: 재배치된 개체)를 자동으로 구별하고 로컬 진화 루프를 트리거하여 더 이상 사용되지 않는 메모리를 수정합니다. Unitree-G1 휴머노이드에 대한 실제 실험에서는 MIF가 정적 기준(HOV-SG)보다 훨씬 뛰어난 성능을 보여 동적 재배치 시나리오의 성공률을 12%에서 94%로 향상시키는 동시에 기능 증류를 통해 의미 메모리 공간을 91.4% 줄였습니다.

Achieving safe manipulation-oriented navigation for humanoid robots is fundamentally challenged by two factors: locomotion-induced perceptual distortion (causing semantic-geometry distortion) and changes within the environment (causing map-reality mismatches). Existing static scene graphs often fail under these conditions, leading to interaction failures. To address this, we introduce the Multi-modal Interaction Field (MIF), a hierarchical framework that transforms the robot from a passive map-user into an active knowledge-evolver. MIF constructs three synergistic fields: (i) a denoised Appearance Field utilizing confidence-gated 3D Gaussian Splatting to suppress gait oscillation noise; (ii) a hierarchical Spatial Field for semantic reasoning; and (iii) Geometry Field, leveraging a Flow Matching based generative model to reconstruct high-fidelity meshes for rigorous Interaction Pose Safety (IPS) verification against the target object. Crucially, we propose a closed-loop Interaction and Adaptation Mechanism to adapt to environmental changes. By monitoring a multi-modal discrepancy score \mathcal{D}, the system autonomously distinguishes between sensor noise and genuine environmental changes (e.g., relocated objects), triggering a local evolution loop to rectify obsolete memory. Real-world experiments on a Unitree-G1 humanoid demonstrate that MIF significantly outperforms static baselines (HOV-SG), improving the success rate in dynamic relocation scenarios from 12% to 94%, while reducing semantic memory footprint by 91.4% via feature distillation.

본 논문에서는 걷기, 기어가기, 오르기, 구르기 등이 가능한 2족 보행 로봇인 MOBIUS 플랫폼을 제시한다. MOBIUS는 팔다리 4개, 조작 및 등반을 위한 두 손가락 그리퍼가 있는 6-DoF 팔 2개, 이동을 위한 4-DoF 다리 2개를 갖추고 있어 재구성 없이 다양한 지형에서 부드럽게 전환할 수 있습니다. 하이브리드 제어 아키텍처는 이동을 위한 강화 학습과 참조 거버너를 통해 안전을 위해 강화된 어드미턴스 제어와 조작 중 규정을 준수하는 접촉 상호 작용을 위한 자동 튜닝을 결합합니다. 높은 수준의 MIQCP 플래너는 안정성과 에너지 효율성의 균형을 맞추기 위해 이동 모드를 자율적으로 선택합니다. 하드웨어 실험에서는 강력한 보행 전환, 동적 등반 및 핀치 그립을 통한 전신 하중 지원을 보여줍니다. 전반적으로 MOBIUS는 형태학, 높은 수준의 계획 및 제어 간의 긴밀한 통합이 모바일 위치 조작 및 파악을 가능하게 하고 상호 작용 기능, 작업 공간 및 이동 가능성을 실질적으로 확장하는 것이 중요함을 보여줍니다.

This paper presents the MOBIUS platform, a bipedal robot capable of walking, crawling, climbing, and rolling. MOBIUS features four limbs, two 6-DoF arms with two-finger grippers for manipulation and climbing, and two 4-DoF legs for locomotion–enabling smooth transitions across diverse terrains without reconfiguration. A hybrid control architecture combines reinforcement learning for locomotion and admittance control enhanced for safety by a Reference Governor and auto-tuning toward compliant contact interactions during manipulation. A high-level MIQCP planner autonomously selects locomotion modes to balance stability and energy efficiency. Hardware experiments demonstrate robust gait transitions, dynamic climbing, and full-body load support via pinch grasp. Overall, MOBIUS demonstrates the importance of tight integration between morphology, high-level planning, and control to enable mobile loco-manipulation and grasping, substantially expanding its interaction capabilities, workspace, and traversability.

실시간 전신 원격 조작은 휴머노이드 로봇이 구조화되지 않은 환경에서 복잡한 작업을 수행하는 데 중요한 방법입니다. 그러나 다양한 인간 동작을 강력하게 지원하는 통합 컨트롤러를 개발하는 것은 여전히 ​​중요한 과제로 남아 있습니다. 기존 방법은 일반적으로 여러 전문가 정책을 단일 일반 정책으로 증류하여 특히 매우 동적인 동작에서 성능 저하를 필연적으로 초래하는 경우가 많습니다. 본 논문에서는 지식 증류에 내재된 성능 손실을 피하면서 다양한 동작에 걸쳐 고정밀 추적을 달성하는 휴머노이드 로봇을 위한 통합 전신 원격 조작 프레임워크인 TeleGate를 제시합니다. 우리의 핵심 아이디어는 고유 감각 상태와 참조 궤적을 기반으로 전문가를 실시간으로 동적으로 활성화하는 경량 게이팅 네트워크를 교육하여 도메인별 전문가 정책의 전체 기능을 보존하는 것입니다. 또한 실시간 원격 조작에서 미래 참조 궤적이 없는 점을 보완하기 위해 과거 관측에서 암시적인 미래 모션 의도를 추출하는 VAE 기반 모션 사전 모듈을 도입하여 점프 및 일어서기와 같은 예측이 필요한 모션에 대한 예측 제어를 가능하게 합니다. 우리는 시뮬레이션에서 실증적 평가를 수행했으며 Unitree G1 휴머노이드 로봇에도 우리 기술을 적용했습니다. 훈련을 위해 단 2.5시간의 모션 캡처 데이터를 사용하여 TeleGate는 다양한 동적 모션(예: 달리기, 추락 회복 및 점프)에서 고정밀 실시간 원격 조작을 달성하여 추적 정확도와 성공률 모두에서 기본 방법보다 훨씬 뛰어납니다.

Real-time whole-body teleoperation is a critical method for humanoid robots to perform complex tasks in unstructured environments. However, developing a unified controller that robustly supports diverse human motions remains a significant challenge. Existing methods typically distill multiple expert policies into a single general policy, which often inevitably leads to performance degradation, particularly on highly dynamic motions. This paper presents TeleGate, a unified whole-body teleoperation framework for humanoid robots that achieves high-precision tracking across various motions while avoiding the performance loss inherent in knowledge distillation. Our key idea is to preserve the full capability of domain-specific expert policies by training a lightweight gating network, which dynamically activates experts in real-time based on proprioceptive states and reference trajectories. Furthermore, to compensate for the absence of future reference trajectories in real-time teleoperation, we introduce a VAE-based motion prior module that extracts implicit future motion intent from historical observations, enabling anticipatory control for motions requiring prediction such as jumping and standing up. We conducted empirical evaluations in simulation and also deployed our technique on the Unitree G1 humanoid robot. Using only 2.5 hours of motion capture data for training, our TeleGate achieves high-precision real-time teleoperation across diverse dynamic motions (e.g., running, fall recovery, and jumping), significantly outperforming the baseline methods in both tracking accuracy and success rate.

인간의 움직임에서 민첩한 휴머노이드 동작을 학습하면 자연스럽고 조화로운 제어를 위한 강력한 경로가 제공되지만 기존 접근 방식은 지속적인 상충 관계에 직면해 있습니다. 참조 추적 정책은 데모 데이터 세트 외부에서 취약한 반면 순수 작업 기반 강화 학습(RL)은 모션 품질을 희생하여 적응성을 달성할 수 있습니다. 배포 시간 제약이 아닌 행동 형성을 위한 사전 동작으로 참조 모션을 처리하여 이러한 격차를 해소하는 통합 다중 작업 RL 프레임워크를 소개합니다. 단일 목표 조건화 정책은 동일한 관찰 및 행동 공간을 공유하지만 초기화 체계, 명령 공간 및 보상 구조가 다른 두 가지 작업에 대해 공동으로 훈련됩니다. (i) 참조 궤적이 조밀한 모방 보상을 정의하지만 정책 입력으로 제공되지 않는 참조 유도 모방 작업 및 (ii) 목표가 모든 참조와 독립적으로 샘플링되고 보상이 작업 성공만 반영하는 목표 조건화 일반화 작업입니다. 공유 공식 내에서 이러한 목표를 공동 최적화함으로써 정책은 조밀한 참조 감독을 통해 구조화된 인간과 유사한 운동 기술을 획득하는 동시에 이러한 기술을 새로운 목표와 초기 조건에 적용하는 방법을 학습합니다. 이는 적대적인 목표, 명시적인 궤적 추적, 위상 변수 또는 참조 종속 추론 없이 달성됩니다. 우리는 다양한 운동 동작(예: 점프 및 오르기)을 요구하는 도전적인 상자 기반 파쿠르 놀이터에서 방법을 평가하고, 학습된 컨트롤러가 모션 자연성을 유지하면서 기준 분포를 넘어 이동한다는 것을 보여줍니다. 마지막으로, 복잡한 시나리오에서 학습된 정책의 유연성을 설명하면서 여러 학습된 기술을 구성하여 장기적인 행동 생성을 보여줍니다.

Learning agile humanoid behaviors from human motion offers a powerful route to natural, coordinated control, but existing approaches face a persistent trade-off: reference-tracking policies are often brittle outside the demonstration dataset, while purely task-driven Reinforcement Learning (RL) can achieve adaptability at the cost of motion quality. We introduce a unified multi-task RL framework that bridges this gap by treating reference motion as a prior for behavioral shaping rather than a deployment-time constraint. A single goal-conditioned policy is trained jointly on two tasks that share the same observation and action spaces, but differ in their initialization schemes, command spaces, and reward structures: (i) a reference-guided imitation task in which reference trajectories define dense imitation rewards but are not provided as policy inputs, and (ii) a goal-conditioned generalization task in which goals are sampled independently of any reference and where rewards reflect only task success. By co-optimizing these objectives within a shared formulation, the policy acquires structured, human-like motor skills from dense reference supervision while learning to adapt these skills to novel goals and initial conditions. This is achieved without adversarial objectives, explicit trajectory tracking, phase variables, or reference-dependent inference. We evaluate the method in a challenging box-based parkour playground that demands diverse athletic behaviors (e.g., jumping and climbing), and show that the learned controller transfers beyond the reference distribution while preserving motion naturalness. Finally, we demonstrate long-horizon behavior generation by composing multiple learned skills, illustrating the flexibility of the learned polices in complex scenarios.

강력한 비전 기반 휴머노이드 운동을 달성하는 것은 두 가지 근본적인 문제로 인해 여전히 어려운 과제입니다. 시뮬레이션과 현실의 격차로 인해 세분화된 작업의 성능이 저하되는 상당한 인식 노이즈가 발생하고 다양한 지형에 걸쳐 통일된 정책을 훈련하는 것이 학습 목표 상충으로 인해 방해됩니다. 이러한 문제를 해결하기 위해 우리는 비전 기반 휴머노이드 이동을 위한 엔드투엔드 프레임워크를 제시합니다. 강력한 시뮬레이션-실제 전송을 위해 실제 감지에 내재된 스테레오 매칭 아티팩트 및 교정 불확실성을 포착하는 충실도가 높은 깊이 센서 시뮬레이션을 개발합니다. 우리는 잠재적인 공간 정렬과 잡음 불변 보조 작업을 결합하여 권한 있는 높이 맵에서 잡음이 있는 깊이 관찰로 효과적인 지식 전달을 가능하게 하는 비전 인식 행동 증류 접근 방식을 제안합니다. 다양한 지형 적응을 위해 다중 비평가 및 다중 판별자 학습과 통합된 지형별 보상 형성을 도입합니다. 여기서 전용 네트워크는 각 지형 유형의 고유한 역학 및 모션 사전을 캡처합니다. 우리는 서로 다른 스테레오 깊이 카메라가 장착된 두 개의 휴머노이드 플랫폼에 대한 접근 방식을 검증합니다. 결과 정책은 다양한 환경에서 강력한 성능을 보여주며, 높은 플랫폼과 넓은 간격과 같은 극단적인 과제는 물론 양방향 장기 계단 통과를 포함한 세분화된 작업을 원활하게 처리합니다.

Achieving robust vision-based humanoid locomotion remains challenging due to two fundamental issues: the sim-toreal gap introduces significant perception noise that degrades performance on fine-grained tasks, and training a unified policy across diverse terrains is hindered by conflicting learning objectives. To address these challenges, we present an end-to-end framework for vision-driven humanoid locomotion. For robust sim-to-real transfer, we develop a high-fidelity depth sensor simulation that captures stereo matching artifacts and calibration uncertainties inherent in real-world sensing. We further propose a vision-aware behavior distillation approach that combines latent space alignment with noise-invariant auxiliary tasks, enabling effective knowledge transfer from privileged height maps to noisy depth observations. For versatile terrain adaptation, we introduce terrain-specific reward shaping integrated with multi-critic and multi-discriminator learning, where dedicated networks capture the distinct dynamics and motion priors of each terrain type. We validate our approach on two humanoid platforms equipped with different stereo depth cameras. The resulting policy demonstrates robust performance across diverse environments, seamlessly handling extreme challenges such as high platforms and wide gaps, as well as fine-grained tasks including bidirectional long-term staircase traversal.

휴머노이드 로봇이 복잡하고 역동적인 환경에서 작동할 수 있도록 하는 것은 여전히 ​​중요한 과제로 남아 있으며 근본적으로 견고하고 안전하며 정확하게 탐색하는 능력에 의해 제한됩니다. 속도 명령 정책을 사용한 강화 학습은 인간형 이동에서 놀라운 견고성을 달성했지만, 이 접근 방식은 발판 배치에 대한 명시적인 제어가 부족하여 사람의 발을 밟거나 부정확한 탐색과 같은 안전하지 않은 동작으로 이어져 다음 조작 작업을 방해합니다. 반대로, 명시적인 발판 추적 정책은 목표 발 자세로 직접 명령을 받아 유망한 대안을 제공합니다. 그러나 기존 접근 방식은 종종 비현실적인 상태 가정으로 인해 제한되어 실제 배포가 손상되거나 단계적 파이프라인의 일부이므로 특정 다운스트림 작업에 연결됩니다. 이 작업에서는 범용 3D 발판 추적 정책을 교육하기 위한 새롭고 가벼운 프레임워크를 소개합니다. 목표 샘플러를 통해 발자국 지원을 동적으로 제공함으로써 이 방법을 사용하면 학습된 정책이 특정 지형에 독립적이 될 수 있습니다. 우리의 새로운 목표 표현은 시끄럽고 부정확한 자세 추정 및 발 접촉 추정과 같이 현실 세계에서 발생하는 문제를 효과적으로 완화합니다. 직접적인 실제 전송을 위해 설계된 당사의 정책은 다양한 상위 수준 발판 생성기와 원활하게 결합될 수 있는 독립형 하위 수준 컨트롤러 역할을 합니다. 우리는 시뮬레이션과 실제 세계에서의 광범위한 실험을 통해 프레임워크의 효율성을 입증합니다. 우리의 정책을 다양한 업스트림 계획자와 결합함으로써 까다로운 환경에서 자연스럽고 정확한 이동을 달성하고 복잡한 환경에서 이동 조작 작업을 위한 길을 닦습니다.

Enabling humanoid robots to operate in complex, dynamic environments remains a critical challenge, fundamentally limited by the ability to navigate robustly, safely, and accurately. While reinforcement learning with velocity-commanded policies has achieved remarkable robustness in humanoid locomotion, this approach lacks explicit control of the foothold placement, leading to unsafe behavior, such as stepping onto human feet, or imprecise navigation, hindering the following manipulation task. Conversely, explicit foothold-tracking policies offer a promising alternative by directly being commanded with target foot poses. However, existing approaches are often limited by unrealistic state assumptions, compromising real-world deployment, or they are part of staged pipelines, making them tied to specific downstream tasks. In this work, we introduce a novel, lightweight framework for training general-purpose 3D foothold-tracking policies. By dynamically providing footstep support through a goal sampler, this method enables the learned policy to be agnostic to specific terrains. Our new target representation effectively mitigates challenges arising in the real world, such as noisy and inaccurate pose estimation and foot contact estimation. Designed for direct real-world transfer, our policy acts as a standalone low-level controller that can be seamlessly paired with various high-level foothold generators. We demonstrate the effectiveness of our framework through extensive experiments in simulation and in the real world. By coupling our policy with different upstream planners, we achieve natural and accurate locomotion in challenging settings, paving the way for loco-manipulation tasks in complex environments.

휴머노이드 및 다리 로봇은 간헐적인 접촉을 통해 환경과 상호 작용하므로 접촉 역학에 대한 추론에 근본적으로 의존하는 정확한 모션 추정이 가능합니다. 그러나 EKF(확장 칼만 필터)를 사용한 온보드 고유 수용 감각 또는 외부 모션 캡처 시스템을 기반으로 하는 표준 감지 파이프라인은 운동학만 복구하는 반면 접촉 힘, 접촉 타이밍 및 관성 매개변수는 관찰되지 않은 상태로 유지됩니다. 결과적으로 순수 운동학적 재구성은 특히 접촉이 많은 모션 중에 강체 역학을 위반하는 경우가 많습니다. 실제 배치에서 온보드 운동학으로부터 정확한 모션 추정을 가능하게 하기 위해 우리는 마찰 접촉력과 물리적으로 일관된 관성 매개변수를 공동으로 추정하는 동시에 측정된 운동학 및 액츄에이터 명령을 동적으로 일관된 궤적으로 개선하는 최대 A 사후 공식인 PRIME(물리적으로 일관된 로봇 관성 및 모션 추정)을 제안합니다. 우리의 접근 방식은 부드러운 상보성 제약 조건과 Anitescu 스타일 마찰 모델을 갖춘 미분 가능한 접촉 역학을 통합하여 접촉 전환 전반에 걸쳐 안정적으로 유지되는 원활한 최적화 문제를 생성합니다. 우리는 4족 로봇과 Unitree G1 휴머노이드를 사용하여 접촉이 많은 이동에 대해 PRIME을 평가하여 향상된 궤적 일관성과 정확한 관성 매개 변수 식별을 보여줍니다. PRIME은 보정된 관성 매개변수를 사용하여 모델 기반 추정 및 제어를 개선하는 것 외에도 배포 중인 실제 로봇에서 힘 및 접촉에 주석이 달린 모션 재구성을 생성하며, 이는 대규모 동작 모델링 및 로봇 기반 모델을 포함한 다운스트림 학습 애플리케이션에 고품질 데이터를 제공하는 데 사용할 수 있습니다.

Humanoid and legged robots interact with the environment through intermittent contacts, making accurate motion estimation fundamentally dependent on reasoning about contact dynamics. However, standard sensing pipelines—whether based on onboard proprioception with Extended Kalman Filters (EKFs) or external motion capture systems—recover only kinematics, while contact forces, contact timing, and inertial parameters remain unobserved. As a result, purely kinematic reconstructions often violate rigid-body dynamics, particularly during contact-rich motions. To enable accurate motion estimation from onboard kinematics in real-world deployment, we propose PRIME (Physically-consistent Robotic Inertial and Motion Estimation), a Maximum A Posteriori formulation that refines measured kinematics and actuator commands into a dynamically consistent trajectory while jointly estimating frictional contact forces and physically consistent inertial parameters. Our approach incorporates differentiable contact dynamics with smoothed complementarity constraints and an Anitescu-style friction model, yielding a smooth optimization problem that remains stable across contact transitions. We evaluate PRIME on contact-rich locomotion with quadrupedal robots and the Unitree G1 humanoid, demonstrating improved trajectory consistency and accurate inertial parameter identification. Beyond improving model-based estimation and control with calibrated inertial parameters, PRIME produces force- and contact-annotated motion reconstructions from real robots in deployment, which can be used to provide high-quality data for downstream learning applications, including large-scale behavior modeling and robot foundation models.

휴머노이드 운동 조작은 베이스 모션과 충격 중에 동적 안정성을 유지하면서 정밀한 조작 작업을 실행해야 합니다. 기존 접근 방식은 일반적으로 신체 중심 프레임에서 명령을 공식화하므로 다리 이동으로 인한 누적 세계 프레임 드리프트를 본질적으로 수정하지 못합니다. 우리는 문제를 월드 프레임 엔드 이펙터 추적으로 재구성하고 전역 추론을 동적 실행에서 분리하는 계층적 강화 학습 프레임워크인 HiWET를 제안합니다. 상위 수준 정책은 월드 프레임에서 엔드 이펙터 정확도와 기본 위치 지정을 공동으로 최적화하는 하위 목표를 생성하는 반면, 하위 수준 정책은 안정성 제약 조건 하에서 이러한 명령을 실행합니다. 잔류 학습을 통해 조작 매니폴드를 동작 공간에 삽입하고 탐색 차원을 줄이고 운동학적으로 유효하지 않은 동작을 완화하는 KMP(Kinematic Manifold Prior)를 소개합니다. 광범위한 시뮬레이션 및 절제 연구는 HiWET가 장거리 세계 프레임 작업에서 정확하고 안정적인 엔드 이펙터 추적을 달성한다는 것을 보여줍니다. 우리는 물리적 휴머노이드에 대한 낮은 수준 정책의 제로샷 시뮬레이션에서 실제 전송을 검증하여 다양한 조작 명령 하에서 안정적인 이동을 보여줍니다. 이러한 결과는 계층적 제어와 결합된 명시적인 세계 프레임 추론이 장거리 휴머노이드 loco 조작을 위한 효과적이고 확장 가능한 솔루션을 제공한다는 것을 나타냅니다.

Humanoid loco-manipulation requires executing precise manipulation tasks while maintaining dynamic stability amid base motion and impacts. Existing approaches typically formulate commands in body-centric frames, fail to inherently correct cumulative world-frame drift induced by legged locomotion. We reformulate the problem as world-frame end-effector tracking and propose HiWET, a hierarchical reinforcement learning framework that decouples global reasoning from dynamic execution. The high-level policy generates subgoals that jointly optimize end-effector accuracy and base positioning in the world frame, while the low-level policy executes these commands under stability constraints. We introduce a Kinematic Manifold Prior (KMP) that embeds the manipulation manifold into the action space via residual learning, reducing exploration dimensionality and mitigating kinematically invalid behaviors. Extensive simulation and ablation studies demonstrate that HiWET achieves precise and stable end-effector tracking in long-horizon world-frame tasks. We validate zero-shot sim-to-real transfer of the low-level policy on a physical humanoid, demonstrating stable locomotion under diverse manipulation commands. These results indicate that explicit world-frame reasoning combined with hierarchical control provides an effective and scalable solution for long-horizon humanoid loco-manipulation.

충실도가 높은 동작 추적은 일반화 가능한 인간 수준의 운동 기술에 대한 최고의 리트머스 테스트 역할을 합니다. 그러나 현재 정책은 종종 "일반성 장벽"에 부딪히는 경우가 많습니다. 모션 라이브러리의 다양성이 확장됨에 따라 추적 충실도는 필연적으로 붕괴됩니다. 특히 동적 모션을 실제로 배포하는 경우에는 더욱 그렇습니다. 우리는 이 실패를 멀티 모션 최적화 확장의 학습 병목 현상과 실제 작동에서 발생하는 물리적 실행 가능성 제약이라는 두 가지 복합 요인의 결과로 식별합니다. 이러한 문제를 극복하기 위해 우리는 일반적인 운동 기술 학습과 실제 신체 기술 개선을 분리하는 확장 가능한 프레임워크인 OmniXtreme을 소개합니다. 우리의 접근 방식은 고용량 아키텍처의 흐름 일치 정책을 사용하여 간섭 집약적인 멀티 모션 RL 최적화 없이 표현 용량을 확장한 다음 물리적 하드웨어에서 강력한 성능을 보장하는 작동 인식 개선 단계를 사용합니다. 광범위한 실험을 통해 OmniXtreme은 다양하고 난이도가 높은 데이터세트에서 충실도 높은 추적을 유지한다는 사실이 입증되었습니다. 실제 로봇에서 통합 정책은 여러 극단적인 모션을 성공적으로 실행하여 고동적 휴머노이드 제어에서 오랫동안 지속되어 온 충실도-확장성 균형을 효과적으로 깨뜨립니다.

High-fidelity motion tracking serves as the ultimate litmus test for generalizable, human-level motor skills. However, current policies often hit a “generality barrier”: as motion libraries scale in diversity, tracking fidelity inevitably collapses—especially for real-world deployment of high-dynamic motions. We identify this failure as the result of two compounding factors: the learning bottleneck in scaling multi-motion optimization and the physical executability constraints that arise in real-world actuation. To overcome these, we introduce OmniXtreme, a scalable framework that decouples general motor skill learning from sim-to-real physical skill refinement. Our approach uses a flow-matching policy with high-capacity architectures to scale representation capacity without the interference-intensive multi-motion RL optimization, followed by an actuation-aware refinement phase that ensures robust performance on physical hardware. Extensive experiments demonstrate that OmniXtreme maintains high-fidelity tracking across diverse, high-difficulty datasets. On real robots, the unified policy successfully executes multiple extreme motions, effectively breaking the long-standing fidelity–scalability trade-off in high-dynamic humanoid control.

우리는 Lie 그룹에서 진화하는 2차 연속 시간 동적 시스템으로 문제를 공식화하여 분산 포즈 그래프 최적화(PGO)를 위한 프레임워크를 제시합니다. 포즈 변수를 감쇠 대상인 거대한 입자로 모델링함으로써 결과적인 리만 동역학의 평형점이 원래 PGO 문제의 1차 임계점과 일치합니다. 지배 감쇠 오일러-푸앵카레 방정식과 반암시적 기하 적분기를 사용하여 리만 경사하강법 및 가우스-뉴턴과 같은 기존 알고리즘을 일반화하는 최적화 알고리즘을 설계합니다. 다중 로봇 설정에서 우리는 블록 대각선 질량과 감쇠 행렬을 기반으로 하는 완전 분산 및 병렬 방법을 제시합니다. 여기서 각 로봇은 최소한의 통신 오버헤드로 자체 포즈에 대한 상미분 방정식을 해결합니다. 또한 상태와 속도를 모두 모델링하면 지연된 통신에서 수렴을 크게 향상시키는 원칙적인 이웃 예측이 가능합니다. 이론적으로 우리는 사용된 기하학적 이산화 방식 하에서 에너지 소산을 보장하는 분석을 제시하고 충분 조건을 설정합니다. 벤치마크 PGO 데이터 세트에 대한 실험은 제안된 솔버가 동기식 및 비동기식 영역 모두에서 최첨단 분산 기준선에 비해 우수한 성능을 달성한다는 것을 보여줍니다.

We present a framework for distributed Pose Graph Optimization (PGO) by formulating the problem as a second-order continuous-time dynamical system evolving on Lie groups. By modeling pose variables as massive particles subject to damping, the equilibrium points of the resulting Riemannian dynamics coincide with first-order critical points of the original PGO problem. Using the governing damped Euler-Poincare equations and a semi-implicit geometric integrator, we design an optimization algorithm that generalizes existing algorithms such as Riemannian gradient descent and Gauss-Newton. In multi-robot settings, we present a fully distributed and parallel method based on block-diagonal mass and damping matrices, where each robot solves an ordinary differential equation for its own poses with minimal communication overhead. Moreover, modeling both state and velocity enables principled neighbor prediction that significantly improves convergence under delayed communication. Theoretically, we present an analysis and establish sufficient condition that ensures energy dissipation under the employed geometric discretization scheme. Experiments on benchmark PGO datasets demonstrate that the proposed solver achieves superior performance compared to state-of-the-art distributed baselines in both synchronous and asynchronous regimes.

다중 로봇 팀은 작업 부하 및 복잡성 측면에서 확장할 수 있는 능력으로 인해 점점 더 주목을 받고 있습니다. 그러나 기존 접근 방식은 세 가지 주요 제한 사항, 즉 다중 모드 공동 전략을 포착하기 위한 단일 모드 정책의 무능력, 동적 실행 시간 요구 사항에 대한 고정 정책의 경직성, 배포 중 상충되는 목표를 해결하기 어렵다는 문제로 어려움을 겪고 있습니다. 이러한 문제를 해결하기 위해 실행 시간 동안 목표를 구성하여 기존 협업 다중 로봇 정책을 수정할 수 있는 새로운 프레임워크인 CFPG(Collaborative Flow Policy Guidance)를 제시합니다. 먼저, 오프라인 데이터 세트 없이 완전한 정책 방식으로 강력한 다중 모드 협업 정책을 학습하기 위해 다중 에이전트 흐름 정책 최적화(MAFPO)를 도입합니다. 둘째, 흐름 일치 지침을 활용하여 사용자가 지정한 목표를 향해 작업을 조정함으로써 훈련 없이 새로운 실행 시간 목표에 적응할 수 있습니다. 셋째, 지침 중에 우리는 명목 목표와 실행 목표 간의 충돌을 해결하기 위해 계층적 경사 투영 메커니즘을 사용합니다. 우리는 이론적으로 CFPG를 분석하여 여러 시뮬레이션 환경과 실제 로봇에서 우수한 성능과 견고성을 달성하고 CFPG가 최첨단 방법을 능가한다는 것을 보여줍니다.

Multi-robot teams are increasingly gaining attention due to their ability to scale up in terms of task workloads and complexities. However, existing approaches struggle with three key limitations: the inability of unimodal policies to capture multi-modal joint strategies, the rigidity of fixed policies against dynamic execution-time requirements, and the difficulty of resolving conflicting objectives during deployment. To address these challenges, we present Collaborative Flow Policy Guidance (CFPG), a novel framework that enables the modification of existing collaborative multi-robot policies by composing objectives during execution time. First, we introduce Multi-Agent Flow Policy Optimization (MAFPO) to learn robust, multi-modal collaborative policies in a fully on-policy manner without offline datasets. Second, we enable training-free adaptation to new execution-time objectives by leveraging flow matching guidance to steer actions toward user-specified goals. Third, during guidance we employ a hierarchical gradient projection mechanism to resolve conflicts among the nominal objective and execution objectives. We theoretically analyze CFPG and demonstrate that it achieves superior performance and robustness across multiple simulation environments and real robots and show that CFPG surpasses state-of-the-art methods.

다중 휴머노이드 시스템에 대한 대화형 전신 제어를 실현하는 것은 공유 환경에서 복잡한 협업 기능을 잠금 해제하는 데 중요합니다. 최근의 발전으로 개별 로봇의 민첩성이 크게 향상되었지만 물리적으로 결합된 다중 휴머노이드 상호 작용의 격차를 해소하는 것은 주로 심각한 운동학적 불일치와 복잡한 접촉 역학으로 인해 여전히 어려운 과제로 남아 있습니다. 이 문제를 해결하기 위해 우리는 복잡하고 물리적으로 그럴듯한 상호 작용을 위해 이중 인간형 시스템의 실제 배포를 가능하게 하는 최초의 통합 프레임워크인 Rhythm을 소개합니다. 우리의 프레임워크는 세 가지 핵심 구성 요소를 통합합니다. (1) 인간 데이터에서 실행 가능한 인간형 상호 작용 참조를 생성하는 IAMR(Interaction-Aware Motion Retargeting) 모듈; (2) 그래프 기반 보상을 통해 결합된 역학을 마스터하는 상호작용 기반 강화 학습(IGRL) 정책; (3) 이중 인간형 상호 작용의 강력한 전송을 가능하게 하는 실제 배포 시스템입니다. 실제 Unitree G1 로봇에 대한 광범위한 실험은 우리의 프레임워크가 강력한 대화형 전신 제어를 달성하고 포옹 및 춤과 같은 다양한 동작을 시뮬레이션에서 현실로 성공적으로 전송한다는 것을 보여줍니다.

Realizing interactive whole-body control for multi-humanoid systems is critical for unlocking complex collaborative capabilities in shared environments. Although recent advancements have significantly enhanced the agility of individual robots, bridging the gap to physically coupled multi-humanoid interaction remains challenging, primarily due to severe kinematic mismatches and complex contact dynamics. To address this, we introduce Rhythm, the first unified framework enabling real-world deployment of dual-humanoid systems for complex, physically plausible interactions. Our framework integrates three core components: (1) an Interaction-Aware Motion Retargeting (IAMR) module that generates feasible humanoid interaction references from human data; (2) an Interaction-Guided Reinforcement Learning (IGRL) policy that masters coupled dynamics via graph-based rewards; and (3) a real-world deployment system that enables robust transfer of dual-humanoid interaction. Extensive experiments on physical Unitree G1 robots demonstrate that our framework achieves robust interactive whole-body control, successfully transferring diverse behaviors such as hugging and dancing from simulation to reality.

LTL(선형 시간 논리)은 로봇 동작과 목표 상태를 지정하는 데 사용할 수 있는 공식 언어입니다. 우리는 대규모 다중 에이전트 시스템(MAS)에서 복잡한 협력 동작을 사양할 수 있도록 LTL을 확장합니다. 확장 언어인 TeamingLTL은 부분적인 관찰 가능성 및 에이전트 간 협력과 같이 MAS에 일반적으로 존재하는 기능을 모델화합니다. 이를 통해 사용자는 동작이나 목표를 지정하는 동시에 해당 상태의 실현을 별도의 자동화된 작업 계획 및 할당 시스템으로 연기할 수 있습니다. TeamingLTL을 사용하여 MAS의 동작을 지정하고 프로그램 검증 및 설계에 따른 수정 컨트롤러 생성에 이 공식을 사용하는 방법을 보여줍니다.

Linear Temporal Logic (LTL) is a formal language that can be used to specify robot behaviors and goal states. We extend LTL to enable the specification of complex cooperative behaviors in a large multi-agent system (MAS). The extended language, TeamingLTL, models features commonly present in MAS such as partial observability and cooperation between agents. This enables a user to specify behaviors or goals while deferring the realization of those states to a separate, automated task planning and allocation system. We show how to specify the behavior of a MAS using TeamingLTL and use this formulation in program verification and the creation of correct-by-design controllers.

다중 로봇 시스템은 장거리 작업에 필요한 병렬성과 중복성을 제공하는 반면, LLM(대형 언어 모델)은 이러한 목표를 실행 가능한 계획으로 분해하는 추론 기능을 제공합니다. 그러나 물리적 다중 에이전트 실행에서 이러한 높은 수준의 추론을 효과적으로 기반으로 삼는 것은 아직 해결되지 않은 과제로 남아 있습니다. 기존 LLM 기반 접근 방식은 주로 두 가지 범주로 분류됩니다. 단일 로봇 방법은 접촉이 많은 강력한 조작을 달성하지만 여러 작업 공간에 걸쳐 있는 작업에 필요한 조정 메커니즘이 부족합니다. 현재 다중 로봇 프레임워크는 높은 수준의 계획에 초점을 맞추고 있으며 종종 조작을 실제 실행 불확실성을 설명하지 못하는 이상적인 기본 요소로 취급합니다. 이를 해결하기 위해 우리는 강력한 다중 로봇 조작을 보장하는 새로운 폐쇄 루프 에이전트 LLM 기반 프레임워크를 제안합니다. 우리 시스템은 세 가지 전문 에이전트로 구성됩니다. 계획 에이전트는 지침을 할당된 하위 작업으로 분해하고, 각 로봇의 조작 에이전트는 적응형 도구 사용을 통해 작업을 실행하며, 검증 에이전트는 물리적 결과를 모니터링하고 의미적 수정 사항을 피드백하여 루프를 닫습니다. 광범위한 실제 실험을 통해 우리의 프레임워크가 우수한 성공률을 달성하고 단일 작업 공간 조작에서 교차 작업 공간 조작에 이르는 강력한 적응성을 보장하며 다양한 조작 작업에 대한 일반화 가능한 접근 방식을 제공한다는 것을 보여줍니다.

Multi-robot systems provide the parallelism and redundancy necessary for long-horizon tasks, while Large Language Models (LLMs) offer the reasoning capabilities to decompose these objectives into actionable plans. However, effectively grounding this high-level reasoning in physical multi-agent execution remains an open challenge. Existing LLM-based approaches fall mainly into two categories: Single-robot methods achieve robust contact-rich manipulation but lack the coordination mechanisms required for tasks spanning multiple workspaces. Current multi-robot frameworks focus on high-level planning, often treating manipulation as an idealized primitive that fails to account for real-world execution uncertainties. To address this, we propose a novel closed-loop agentic LLM-based framework to ensure robust multi-robot manipulation. Our system consists of three specialized agents: the Planning Agent decomposes instructions into allocated sub-tasks, the Manipulation Agent for each robot executes actions via adaptive tool use, and the Verification Agent closes the loop by monitoring physical outcomes and feeding back semantic corrections. Extensive real-world experiments demonstrate that our framework achieves superior success rates, ensures robust adaptability ranging from single to cross workspace manipulation, and offers a generalizable approach for diverse manipulation tasks.

실제 세계에서 직접 온라인 정책 학습은 구현된 지능에 대한 유망하면서도 도전적인 방향입니다. 시뮬레이션과 달리 실제 시스템은 임의로 가속하거나, 저렴하게 재설정하거나, 대규모로 복제할 수 없으므로 확장 가능한 데이터 수집, 이기종 배포 및 장기적으로 효과적인 교육이 어렵습니다. 이러한 과제는 실제 정책 학습이 알고리즘 문제일 뿐만 아니라 근본적으로 시스템 문제임을 시사합니다. 우리는 실제 온라인 정책 학습을 위한 통합되고 확장 가능한 시스템인 USER를 제시합니다. USER는 통합 하드웨어 추상화 계층을 통해 물리적 로봇을 GPU와 함께 일류 하드웨어 리소스로 취급하여 이기종 로봇의 자동 검색, 관리 및 예약을 가능하게 합니다. 클라우드-에지 통신을 해결하기 위해 USER는 터널링 기반 네트워킹, 트래픽 위치 파악을 위한 분산 데이터 채널, GPU 측 오버헤드를 조절하기 위한 스트리밍 다중 프로세서 인식 가중치 동기화를 갖춘 적응형 통신 평면을 도입합니다. 이 인프라 위에 USER는 지속적인 캐시 인식 버퍼를 갖춘 완전 비동기식 프레임워크로 학습을 구성하여 강력한 충돌 복구 및 기록 데이터 재사용을 통해 효율적인 장거리 실험을 가능하게 합니다. 또한 USER는 보상, 알고리즘 및 정책에 대한 확장 가능한 추상화를 제공하여 통합 파이프라인 내에서 CNN/MLP, 생성 정책 및 대규모 VLA(비전-언어-작업) 모델의 온라인 모방 또는 강화 학습을 지원합니다. 시뮬레이션과 실제 결과 모두에서 USER는 다중 로봇 조정, 이기종 조작기, 대형 모델을 사용한 엣지-클라우드 협업, 장기 실행 비동기 교육을 지원하여 실제 온라인 정책 학습을 위한 통합되고 확장 가능한 시스템 기반을 제공하는 것으로 나타났습니다.

Online policy learning directly in the physical world is a promising yet challenging direction for embodied intelligence. Unlike simulation, real-world systems cannot be arbitrarily accelerated, cheaply reset, or massively replicated, which makes scalable data collection, heterogeneous deployment, and long-horizon effective training difficult. These challenges suggest that real-world policy learning is not only an algorithmic issue but fundamentally a systems problem. We present USER, a Unified and extensible SystEm for Real-world online policy learning. USER treats physical robots as first-class hardware resources alongside GPUs through a unified hardware abstraction layer, enabling automatic discovery, management, and scheduling of heterogeneous robots. To address cloud–edge communication, USER introduces an adaptive communication plane with tunneling-based networking, distributed data channels for traffic localization, and streaming-multiprocessor-aware weight synchronization to regulate GPU-side overhead. On top of this infrastructure, USER organizes learning as a fully asynchronous framework with a persistent, cache-aware buffer, enabling efficient long-horizon experiments with robust crash recovery and reuse of historical data. In addition, USER provides extensible abstractions for rewards, algorithms, and policies, supporting online imitation or reinforcement learning of CNN/MLP, generative policies, and large vision–language–action (VLA) models within a unified pipeline. Results in both simulation and the real world show that USER enables multi-robot coordination, heterogeneous manipulators, edge–cloud collaboration with large models, and long-running asynchronous training, offering a unified and extensible systems foundation for real-world online policy learning.

로봇 학습, 특히 물리적 다중 에이전트 강화 학습(MARL)의 발전은 현재 접근 가능하고 표준화된 벤치마크의 제한된 가용성으로 인해 어려움을 겪고 있습니다. 시뮬레이션 기반 MARL은 조화로운 팀 플레이에서 복잡한 도구 사용에 이르기까지 놀라운 새로운 행동을 생성했지만 이러한 발전을 물리적 시스템으로 변환하는 것은 여전히 ​​어렵습니다. 주요 장벽은 인프라입니다. 물리적 플랫폼은 종종 엄청나게 비싸고, 전문 시설이 필요하거나, 재현성을 위한 개방형 메커니즘과 설계가 부족합니다. 동적 테이블탑 게임 KLASK를 기반으로 하는 적 MARL을 위한 오픈 소스 저비용(<$2500 USD) 데스크탑 규모 로봇 테스트베드인 KlaskTron을 소개합니다. 이 플랫폼은 높은 토크의 브러시리스 모터가 장착된 듀얼 CoreXY 갠트리를 갖추고 있어 경쟁 플레이에 필요한 고속, 정밀 조작이 가능합니다. 결정적으로 우리는 하드웨어 설계(CAD, BOM), 고충실도 모델링 및 시뮬레이션을 위한 NVIDIA Isaac Lab의 GPU 기반 디지털 트윈, 학습된 신경 액츄에이터 모델을 사용한 검증된 시뮬레이션-실제 기준선 등 완전한 생태계를 제공합니다. 우리는 이 기준이 새로운 적대적 행동을 보이는 훈련된 에이전트를 통해 제로 샷 정책 이전을 가능하게 한다는 것을 보여줍니다. 결과의 완전한 재현성을 보장하기 위해 [익명 링크]의 문서, [익명 링크]의 하드웨어 CAD/BOM, [익명 링크]의 소프트웨어/시뮬레이션 등 모든 프로젝트 자산이 공개적으로 공개됩니다.

Progress in robot learning, particularly physical multi-agent reinforcement learning (MARL), is currently challenged by a limited availability of accessible, standardized benchmarks. While simulation-based MARL has produced remarkable emergent behaviors from coordinated team play to complex tool use, translating these advances to physical systems remains difficult. A key barrier is infrastructural: physical platforms are often prohibitively expensive, require specialized facilities, or lack open mechanisms and designs for reproducibility. We introduce KlaskTron, an open-source, low-cost (<$2500 USD), desktop-scale robotic testbed for adversarial MARL based on the dynamic tabletop game KLASK. The platform features dual CoreXY gantries with high-torque brushless motors, enabling the high-speed, precise manipulation required for competitive play. Crucially, we provide a complete ecosystem: hardware designs (CAD, BOM), a GPU-native digital twin in NVIDIA Isaac Lab for high-fidelity modeling and simulation, and a validated sim-to-real baseline using a learned neural actuator model. We demonstrate that this baseline enables zero-shot policy transfer, with trained agents exhibiting emergent adversarial behaviors. To ensure full reproducibility of our results, all project assets are released publicly: documentation at [Anonymized Link], hardware CAD/BOM at [Anonymized Link], and software/simulation at [Anonymized Link].

대규모 이기종 로봇 시스템(HRS)에서 처리량 및 임시 기간 측면에서 스케줄링 효율성은 병렬 실행 활용에 의존하는 반면, 인간이 발행한 안전 및 우선 순위 지침은 심각한 조합 복잡성을 생성하고 기존 최적화 및 메타 휴리스틱 방법에 도전하는 엄격한 시간적 논리 제약을 부과합니다. 우리는 LTL(선형 시간 논리) 제약 조건 하에서 이종 로봇의 수면-각성 스케줄링을 수행하는 이벤트 중심 강화 학습(RL) 프레임워크인 ALIS-WC(Asynchronous Logic-Induced Sleep-Wake Coordination)를 제안합니다. 핵심적으로 ALIS-WC는 2단계 필터링 메커니즘을 적용합니다. 먼저 물리적으로 현재 결정에 기여할 수 없는 로봇을 필터링한 다음 시간적 논리 종속성을 사용하여 나머지 로봇을 수면 또는 적격으로 표시하므로 학습된 파견 정책은 각 결정 이벤트에서 제약 조건을 준수하는 유휴 로봇 사이에서만 조정됩니다. 먼저 인간-ALIS-WC 상호 작용 인터페이스를 설계합니다. 즉, 높은 NL-LTL 정확도를 달성하는 소형 8B 변환기를 사용하여 자연어(NL) 임무 설명을 LTL 안전 및 스케줄러의 우선 순위 조항에 매핑하는 경량 언어 프런트 엔드입니다. 우리는 난이도 불변 학습 신호를 제공하고 기본 목표를 변경하지 않고 정책 학습을 가속화하는 정규화된 글로벌 임무 진행에 대한 잠재력 기반 보상 형성 용어를 추가로 설계합니다. 수십 개의 이기종 로봇, 100개의 작업 및 최대 10개의 LTL 절을 사용한 대규모 그래프 기반 벤치마크에 대한 실험에서는 ALIS-WC가 강력한 메타휴리스틱, 검색 기반 및 강화 학습 기준에 비해 임시 범위 및 작업 완료를 향상시키는 동시에 적용된 모든 시간 논리 제약 조건을 100% 만족시키는 것으로 나타났습니다. 최대 60개 조항을 사용한 추가 스트레스 테스트는 ALIS-WC가 훨씬 더 조밀한 시간 논리 사양에서도 여전히 효과적임을 나타냅니다.

In large-scale heterogeneous robot systems (HRS), scheduling efficiency in terms of throughput and makespan relies on exploiting parallel execution, while human-issued safety and precedence instructions impose rigid temporal-logic constraints that create severe combinatorial complexity and challenge traditional optimization and metaheuristic methods. We propose Asynchronous Logic-Induced Sleep-Wake Coordination (ALIS-WC), an event-driven reinforcement learning (RL) framework that performs sleep-wake scheduling of heterogeneous robots under Linear Temporal Logic (LTL) constraints. At its core, ALIS-WC applies a two-stage filtering mechanism: it first filters out robots that are physically incapable of contributing to the current decision, and then uses temporal-logic dependencies to label the remaining robots as sleeping or eligible, so that the learned dispatch policy only coordinates among idle, constraint-compliant robots at each decision event. We first design a human-ALIS-WC interaction interface: a lightweight language front-end that maps natural-language (NL) mission descriptions into LTL safety and precedence clauses for the scheduler using a compact 8B translator that achieves high NL-to-LTL accuracy. We further design a potential-based reward-shaping term over normalized global mission progress that provides a difficulty-invariant learning signal and accelerates policy learning without changing the underlying objective. Experiments on large-scale graph-based benchmarks with dozens of heterogeneous robots, 100 tasks, and up to 10 LTL clauses show that ALIS-WC improves makespan and task completion over strong metaheuristic, search-based, and reinforcement-learning baselines while maintaining 100% satisfaction of all enforced temporal-logic constraints. Additional stress tests with up to 60 clauses indicate that ALIS-WC remains effective under much denser temporal-logic specifications.

KD(지식 증류)는 분산형 학생을 위한 중앙형 교사를 고용하여 MARL(다중 에이전트 강화 학습)을 가속화할 수 있는 잠재력을 가지고 있습니다. 그러나 MARL의 중앙 집중식 교사는 분산형 학생 탐색이 교사가 훈련받지 않은 분산 외(OOD) 상태 분포를 유도하고 부분적인 관찰 가능성으로 인해 실행 시간에 교사와 학생 간의 관찰 불일치가 발생하기 때문에 실패하는 경우가 많습니다. 우리는 중앙 집중식 훈련, 분산 실행 설정에서 MARL을 위한 새로운 KD 프레임워크인 HINT(Hierarchical INInteractive Teacher-based transfer)를 제안합니다. HINT는 계층적 RL을 활용하여 확장 가능하고 성과가 뛰어난 교사를 제공합니다. 의사 오프 정책 RL은 학생 궤적을 교사를 위한 추가 훈련 데이터로 취급하여 학생이 유도한 상태 분포에 정책을 적용할 수 있습니다. 성과 기반 필터링은 분산된 학생이 사용할 수 없는 중앙화된 관찰에 의존하는 교사 지도를 제거하고 결과 관련 신호만 유지합니다. FireCommander와 MARINE 전반에 걸쳐 HINT는 최첨단 온라인 MARL 기준을 지속적으로 능가하여 작업 성공률을 60%~165% 향상시킵니다.

Knowledge distillation (KD) has the potential to accelerate multi-agent reinforcement learning (MARL) by employing a centralized teacher for decentralized students. However, centralized teachers in MARL often fail because decentralized student exploration induces out-of-distribution (OOD) state distributions the teacher was never trained on, compounded by partial observability, which creates observation mismatches between teacher and students at execution time. We propose HINT (Hierarchical INteractive Teacher-based transfer), a novel KD framework for MARL in a centralized training, decentralized execution setup. By leveraging hierarchical RL, HINT provides a scalable, high-performing teacher. Pseudo off-policy RL treats student trajectories as additional training data for the teacher, allowing it to adapt its policy to student-induced state distributions. Performance-based filtering removes teacher guidance that depends on centralized observations unavailable to decentralized students, retaining only outcome-relevant signals. Across FireCommander and MARINE, HINT consistently outperforms state-of-the-art online MARL baselines, improving task success rates by 60%–165%.

로봇이 동적으로 실행 가능하고 충돌 없는 궤적을 생성해야 하는 연속 환경의 다중 로봇 동작 계획(MRMP)은 관절 궤적 공간의 조합적 성장과 동적 타당성 및 엄격한 안전 제약 조건을 적용하기 어렵기 때문에 어렵습니다. 최근 접근 방식에서는 궤적 계획을 확률적 추론으로 재구성하고, 데모 데이터에서 점수 함수를 학습한 확산 모델을 사용하여 궤적에 대한 사후 샘플링을 수행합니다. 유망한 성능을 보여주지만 이러한 접근 방식은 제한적입니다. 대규모 데모 데이터 세트에 의존하고 샘플링 중에 역학 및 엄격한 안전 제약 조건을 엄격하게 적용하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 데이터에 의존하지 않고 동적으로 실행 가능한 궤적을 효율적으로 생성하는 검증된 안전한 모델 기반 확산 플래너인 모델 기반 확산 최적 제어(MDOC)를 소개합니다. 결정적으로 우리는 알려진 역학 모델과 CBF(Control Barrier Function) 제한 예측을 결합하는 MDOC의 안전 메커니즘이 충돌 기반 검색(CBS)을 통해 다중 로봇 계획 설정으로 자연스럽게 확장된다는 것을 보여줍니다. 시뮬레이션 실험 전체에서 이 통합 방법은 샘플 효율성, 기하학적 부드러움 및 성공률 측면에서 대표적인 기준 계획자보다 지속적으로 뛰어난 성능을 발휘하는 동시에 계산 시간을 줄이고 충돌 없는 궤적을 생성합니다.

Multi-Robot Motion Planning (MRMP) in continuous environments, where robots must generate dynamically feasible, collision-free trajectories, is challenging due to the combinatorial growth of the joint trajectory space and the difficulty of enforcing dynamic feasibility and hard safety constraints. Recent approaches recast trajectory planning as probabilistic inference, sampling from a posterior over trajectories using diffusion models whose score functions are learned from demonstration data. While showing promising performance, these approaches are limited: they often rely on sizable demonstration datasets and struggle to rigorously enforce dynamics and hard safety constraints during sampling. To this end, we introduce Model-Based Diffusion Optimal Control (MDOC), a provably safe model-based diffusion planner that efficiently produces dynamically feasible trajectories without relying on data. Crucially, we show that MDOC’s safety mechanism–combining known dynamics models with Control Barrier Function (CBF)-constrained projections–naturally scales to multi-robot planning settings through Conflict-Based Search (CBS). Across simulation experiments, this integrated method consistently outperforms representative baseline planners in sample efficiency, geometric smoothness, and success rate, while reducing computation time and producing collision-free trajectories.

우리는 로봇이 손상된 지점에 도달했을 때만 발견되는 알 수 없는 도로 막힘이 있는 환경에서 무인 항공기(UAV)의 지원을 받는 무인 지상 차량(UGV)에 대한 협력적 최단 경로 계획을 연구합니다. 이 공식은 단일 지상 차량을 가정하고 모든 사고 가장자리의 횡단 가능성 상태가 정점에 도착할 때 공개되는 원래 캐나다 여행자 문제(CTP)를 일반화합니다. 먼저 시작과 목표가 k개의 분리된 경로로 연결된 경우를 분석하고 단일 UGV에 대한 최악의 경우 경쟁 비율 ρ가 2k-1임을 증명합니다. UAV 지원을 사용하고 무시할 수 있는 초기 이동 및 교착 상태 UAV 비용을 단순화한 가정 하에서 비율은 ρ = 2\frac{v_G}{v_A + v_G}k - 1로 향상됩니다. 여기서 v_G 및 v_A는 각각 UGV 및 UAV 속도를 나타냅니다. 일반 그래프와 무시할 수 없는 UAV 초기 통과 및 교착 상태 비용을 해결하기 위해 UGV에 경로 접두사 검사를 할당하고 UAV에 경로 접미사 검사를 할당하는 최적의 경로 분할 전략을 제시하고 일반 그래프에서 UAV 검사 전략의 최적성을 입증합니다. 우리는 무작위로 막힌 세계 50개 도시의 도로 네트워크에 대한 실험을 수행하여 알고리즘을 평가하고 제안된 방법이 UGV 이동 시간을 최대 30%까지 줄이는 것을 보여줍니다.

We study cooperative shortest path planning for an unmanned ground vehicle (UGV) assisted by an unmanned aerial vehicle (UAV) in environments with unknown road blockages that are only discovered when a robot reaches the damaged point. This formulation generalizes the original Canadian Traveller Problem (CTP), which assumes a single ground vehicle and that the traversability status of all incident edges is revealed upon arrival at a vertex. We first analyze the case where the start and the goal are connected by k disjoint paths, and prove that the worst-case competitive ratio ρ for a single UGV is 2k-1. With UAV assistance, and under the simplifying assumption of negligible initial transit and deadheading UAV costs, the ratio improves to ρ = 2\frac{v_G}{v_A + v_G}k - 1, where v_G and v_A denote the UGV and UAV speed, respectively. To address general graphs and non-negligible UAV initial transit and deadheading costs, we present an optimal path partitioning strategy that assigns path prefix inspection to the UGV and path suffix inspection to the UAV, and prove the optimality of the UAV inspection strategy on general graphs. We evaluate our algorithm by performing experiments on road networks from the world’s 50 most populous cities, with randomized blockages, and show that the proposed method reduces UGV travel times by up to 30%.

네트워크로 연결된 로봇 팀이 정보를 교환하고 작업을 조정하려면 연결 유지 관리가 중요하지만, 통신 범위가 제한되고 팀이 대규모로 운영되는 경우 지속적인 글로벌 연결을 적용하는 것이 불필요하게 제한될 수 있습니다. 실제로 로봇은 효율적으로 분산되도록 일시적으로 연결을 끊은 다음, 일정 시간 동안 팀 전체에 정보가 흐를 수 있도록 시간 집계 연결을 유지하기 위해 로컬 재연결을 위해 모션을 의도적으로 재구성해야 합니다. 본 논문에서는 로봇이 개별 목표를 달성하면서 시간 집합 연결성을 유지하기 위한 새로운 모션 조정 프레임워크를 제안합니다. 로봇의 공칭 모션 계획 위에 구축된 모듈화된 레이어로서 (a) 어떤 로봇 쌍이 언제 다시 연결되어야 하는지 동적으로 결정하는 TWA-MST(시간 창 집계 최소 스패닝 트리) 접근 방식과 (b) 모션 재구성을 통해 확실한 재연결을 적용하는 적응형 규정 시간 제어 장벽 기능(적응형 PT-CBF)의 새로운 개념을 포함합니다. 이를 통해 로봇은 정의된 시간 범위 동안 시간 집계 연결을 보장하기 위해 동작을 최소한으로 조정하면서 공칭 계획을 따를 수 있습니다. 제안된 방법의 효율성을 입증하기 위해 이론적 분석과 실험 결과가 모두 제공됩니다.

Connectivity maintenance is critical for networked robot teams to exchange information and coordinate actions, yet enforcing persistent global connectivity can be unnecessarily restrictive when communication ranges are limited and teams operate at scale. In practice, robots must be allowed to temporarily disconnect so as to spread out efficiently, and then deliberately reconfigure their motions for local reconnection to maintain time-aggregated connectivity that allows information to flow across the team over a window of time. In this paper, we propose a novel motion coordination framework for robots to maintain time-aggregated connectivity while progressing to their individual goals. As a modularized layer built on top of robots’ nominal motion plans, it encompasses (a) a time-window aggregated minimum spanning tree (TWA-MST) approach to dynamically decide which robot pairs should be reconnected and when, and (b) a novel notion of adaptive prescribed-time control barrier functions (adaptive PT-CBF) that enforce assured reconnection by motion reconfiguration. This allows robots to follow their nominal plans while minimally adjusting motions to ensure time-aggregated connectivity over a defined time horizon. Both theoretical analysis and experimental results are provided to demonstrate the effectiveness of the proposed methods.

알려지지 않고 복잡한 환경에서의 다중 에이전트 탐색은 광범위한 응용 프로그램을 제공하지만 근본적으로 여전히 어려운 과제입니다. 특히, 조밀한 에이전트-에이전트 및 에이전트-장애물 반응 상호 작용은 충돌 방지 제약 조건과 목표 도달 목표 간의 고유한 경쟁을 악화시킬 수 있습니다. 대부분의 기존 접근 방식은 미리 정의된 목표 도달 컨트롤러 위에 단계별 안전 필터링을 적용하거나 안전 제약 조건 위반 기울기에 페널티를 주는 경험적 손실 기능을 설계하여 이를 완화합니다. 이러한 방법은 희박한 환경에서는 효과적이지만 상호 작용이 조밀해지면 지나치게 보수적인 동작으로 인해 문제가 발생합니다. 이러한 한계를 극복하기 위해 우리는 명시적 안전 시행을 위한 그래프 신경망(GNN) 매개변수화된 제어 장벽 함수, 분산 GNN 기반 탐색 정책, 목표 도달 행동을 유도하는 가치 함수를 공동 학습하는 HJB(Hamilton-Jacobi-Bellman) 기반 학습 프레임워크인 HJB-GNN을 제안합니다. 제한된 HJB 방정식의 분석적 솔루션을 활용하여 제안된 방법은 다양한 다중 에이전트 탐색 시나리오에서 충돌 회피와 목표 도달의 균형을 적응적으로 조정하는 그래프 종속 라그랑주 승수를 도출합니다. 또한 HJB-GNN은 분산 배포를 통한 중앙 집중식 교육을 지원합니다. Crazyflie 드론 무리를 사용한 광범위한 시뮬레이션과 실제 실험을 통해 뛰어난 안전성과 목표 달성 성능은 물론 이전에 볼 수 없었던 밀도가 높은 환경에서 운영되는 대규모 팀에 대한 강력한 확장성과 일반화 가능성을 보여줍니다.

Multi-agent navigation in unknown and cluttered environments has broad applications, yet remains fundamentally challenging. In particular, dense agent-agent and agent-obstacle reactive interactions can exacerbate the inherent competition between collision-avoidance constraints and goal-reaching objectives. Most existing approaches mitigate this by applying per-step safety filtering on top of a predefined goal-reaching controller or by designing heuristic loss functions that penalizes safety constraints violation gradient. While effective in sparse environments, these methods still suffer from overly-conservative behaviors when interactions become dense. To overcome these limitations, we propose HJB-GNN, a Hamilton-Jacobi-Bellman (HJB)-based learning framework that jointly learns a graph neural network (GNN)-parameterized control barrier function for explicit safety enforcement, a distributed GNN-based navigation policy, and a value function that induces goal-reaching behavior. By exploiting the analytical solution of the constrained HJB equation, the proposed method derives graph-dependent Lagrange multipliers that adaptively balance collision-avoidance and goal-reaching across diverse multi-agent navigation scenarios. Moreover, HJB-GNN supports centralized training with distributed deployment. Extensive simulations and real-world experiments with Crazyflie drone swarms demonstrate its superior safety and goal-reaching performance, as well as strong scalability and generalizability to large-scale teams operating in previously unseen, dense environments.

신경 암시적 매핑은 로봇 탐색 및 장면 이해를 위한 강력한 패러다임으로 등장했습니다. 그러나 실제 로봇 배포에는 기존 매핑 시스템이 지원하지 못하는 엄격한 메모리 및 계산 제약 하에서 변화하는 환경에 대한 지속적인 적응이 필요합니다. 대부분의 이전 방법은 일관성을 유지하고 정적 장면을 가정하기 위해 역사적 관찰을 재생하는 데 의존합니다. 결과적으로 그들은 동적 로봇 환경에서 지속적인 학습에 적응할 수 없습니다. 이러한 문제를 해결하기 위해 우리는 지속적인 신경 매핑을 위한 재생 없는 프레임워크인 TACO(TemporAl Consensus Optimization)를 제안합니다. 우리는 과거 모델 스냅샷을 시간적 이웃으로 처리하는 시간적 합의 최적화 문제로 매핑을 재구성합니다. 직관적으로 우리의 접근 방식은 자신의 과거 지식을 참조하는 모델과 유사합니다. 우리는 역사적 표현으로 가중치 합의를 시행하여 현재 지도를 업데이트합니다. 우리의 방법을 사용하면 신뢰할 수 있는 과거 기하학을 사용하여 최적화를 제한하는 동시에 신뢰할 수 없거나 오래된 영역을 새로운 관찰에 대응하여 수정할 수 있습니다. TACO는 이전 데이터를 저장하거나 재생하지 않고도 메모리 효율성과 적응성 간의 균형을 유지합니다. 광범위한 시뮬레이션 및 실제 실험을 통해 TACO가 장면 변화에 강력하게 적응하고 다른 연속 학습 기준보다 지속적으로 뛰어난 성능을 발휘한다는 것을 보여줍니다.

Neural implicit mapping has emerged as a powerful paradigm for robotic navigation and scene understanding. However, real-world robotic deployment requires continual adaptation to changing environments under strict memory and computation constraints, which existing mapping systems fail to support. Most prior methods rely on replaying historical observations to preserve consistency and assume static scenes. As a result, they cannot adapt to continual learning in dynamic robotic settings. To address these challenges, we propose TACO (TemporAl Consensus Optimization), a replay-free framework for continual neural mapping. We reformulate mapping as a temporal consensus optimization problem, where we treat past model snapshots as temporal neighbors. Intuitively, our approach resembles a model consulting its own past knowledge. We update the current map by enforcing weighted consensus with historical representations. Our method allows reliable past geometry to constrain optimization while permitting unreliable or outdated regions to be revised in response to new observations. TACO achieves a balance between memory efficiency and adaptability without storing or replaying previous data. Through extensive simulated and real-world experiments, we show that TACO robustly adapts to scene changes and consistently outperforms other continual learning baselines.

이 문서에서는 2D 회전 레이더 강도 이미지에서 직접 작동하는 최초의 레이더 번들 조정(BA) 프레임워크인 Dr-BA를 소개합니다. 카메라나 LiDAR 센서와 달리 레이더는 강수량의 영향을 거의 받지 않으므로 전천후 견고성을 요구하는 자율 시스템에 중요한 방식입니다. 회전 레이더를 사용하는 기존 상태 추정 접근 방식은 일반적으로 범위-방위각-강도 측정에서 희박한 포인트 클라우드를 추출하고 포인트 클라우드 정렬 기술을 적용하여 차량 동작, 장면 구조를 추정하거나 기존 지도 내에서 위치를 파악합니다. 이와 대조적으로 Dr-BA는 여러 스캔의 전체 레이더 반사를 사용하여 조밀한 지도와 센서 자세를 공동으로 추정합니다. 문제를 분리 가능한 최적화로 공식화함으로써 포즈 추정을 매핑에서 분리하는 효율적이고 일반적인 솔루션을 도출합니다. BA 문제를 해결하는 것 외에도 이 공식은 이전에 구축된 지도 내에서 직접 레이더 전용 위치 파악(DRL)으로 자연스럽게 확장됩니다. Dr-BA는 5개 경로에 걸쳐 200km가 넘는 도로 데이터에서 입증된 최첨단 레이더 기반 BA 및 교차 세션 위치 파악 성능을 달성합니다.

This paper introduces Dr-BA, a first-of-its-kind radar bundle adjustment (BA) framework that operates directly on 2D spinning radar intensity images. Unlike camera or lidar sensors, radar is largely unaffected by precipitation, making it a critical modality for autonomous systems that require all-weather robustness. Existing state estimation approaches using spinning radar typically extract sparse point clouds from range-azimuth-intensity measurements and apply point cloud alignment techniques to estimate vehicle motion, scene structure, or to localize within an existing map. In contrast, Dr-BA uses the full radar returns from multiple scans to jointly estimate dense maps and sensor poses. By formulating the problem as a separable optimization, we derive an efficient and general solution that decouples pose estimation from mapping. In addition to solving the BA problem, this formulation naturally extends to direct radar-only localization (DRL) within a previously built map. Dr-BA achieves state-of-the-art radar-based BA and cross-session localization performance, demonstrated on more than 200 km of on-road data across five distinct routes.

단안 시각 관성 항법 시스템(VINS)에서는 후속 상태 추정을 위한 시작 조건을 설정하므로 빠르고 안정적인 초기화가 중요합니다. 꾸준한 발전에도 불구하고 대부분의 기존 방법은 시각적 기능 대응에 크게 의존하고 성공적인 초기화를 위해 3~4초의 감각 데이터가 필요하므로 적용 가능성과 효율성이 제한됩니다. 이미지에서 포인트 클라우드를 직접 예측할 수 있는 피드포워드 3D 모델의 출현으로 우리는 간결한 관점에서 시각-관성 초기화 문제를 다시 살펴봅니다. 이 작업에서 우리는 피드포워드 3D 모델로 예측된 ​​최대 규모의 포인트 클라우드를 활용하여 시각적 특징 추적 및 추정의 필요성을 없애는 특징 없는 초기화 프레임워크를 제안합니다. 이 설계는 시스템 복잡성을 크게 줄이고 초기화 안정성을 향상시킵니다. 공개 데이터 세트에 대한 실험을 통해 제안된 기능 없는 초기화 방법은 90%를 초과하는 가장 높은 성공률을 달성하고, 성공적인 초기화에 필요한 데이터 지속 시간을 최첨단 방법에 비해 50% 이상(일반적으로 1.2초 미만) 단축하는 것으로 나타났습니다. 우리는 다양한 실내 및 실외 시나리오를 포괄하는 자체 수집 데이터 세트에 대한 방법을 추가로 검증하여 특히 기존 방법이 종종 실패하는 시각적으로 저하된 환경에서 강력한 성능을 보여줍니다. 코드와 데이터세트는 커뮤니티의 추가 연구를 촉진하기 위해 공개될 예정입니다.

Fast and reliable initialization is critical for monocular visual–inertial navigation systems (VINS), as it establishes the starting conditions for subsequent state estimation. Despite steady progress, most existing methods heavily rely on visual feature correspondences and require 3-4 seconds of sensory data for successful initialization, which limits their applicability and efficiency. With the advent of feed-forward 3D models that can directly predict point clouds from images, we revisit the visual–inertial initialization problem from a concise perspective. In this work, we propose a feature-free initialization framework that leverages up-to-scale point clouds predicted by a feed-forward 3D model, thereby obviating the need for visual feature tracking and estimation. This design substantially reduces system complexity and improves the reliability of initialization. Experiments on public datasets demonstrate that the proposed feature-free initialization method achieves the highest success rate, exceeding 90%, and reduces the data duration required for successful initialization by over 50% compared to state-of-the-art methods, typically to under 1.2 s. We further validate our method on a self-collected dataset covering various indoor and outdoor scenarios, demonstrating robust performance, particularly in visually degraded environments where existing methods often fail. The code and dataset will be released to facilitate further research by the community.

LiDAR-카메라 융합은 카메라 이미지를 활용하여 희박한 LiDAR 스캔을 보완함으로써 3D 팬옵틱 분할을 향상시키지만 심각한 오류 모드도 도입합니다. 불리한 조건에서 카메라 센서의 성능 저하 또는 고장은 인식 시스템의 신뢰성을 크게 손상시킬 수 있습니다. 이 문제를 해결하기 위해 우리는 카메라 센서 저하, 보정 드리프트 및 센서 오류에도 견고하게 유지되는 2D 범위 보기의 새로운 불확실성 인식 융합 프레임워크인 UP-Fuse를 소개합니다. 원시 LiDAR 데이터는 먼저 Range-View에 투사되고 LiDAR 인코더로 인코딩되는 반면, 카메라 기능은 동시에 추출되어 동일한 공유 공간에 투사됩니다. UP-Fuse의 핵심은 예측된 불확실성 맵을 사용하여 교차 모드 상호 작용을 동적으로 변조하는 불확실성 유도 융합 모듈을 사용합니다. 이러한 맵은 다양한 시각적 품질 저하 하에서 표현 발산을 정량화하여 학습되며, 신뢰할 수 있는 시각적 단서만이 융합 표현에 영향을 미치도록 보장합니다. 융합된 범위 보기 기능은 2D 투영에 내재된 공간 모호성을 완화하고 3D 팬옵틱 분할 마스크를 직접 예측하는 새로운 하이브리드 2D-3D 변환기에 의해 디코딩됩니다. Panoptic nuScenes, SemanticKITTI 및 우리가 도입한 Panoptic Waymo 벤치마크에 대한 광범위한 실험은 심각한 시각적 손상이나 잘못된 정렬에서도 강력한 성능을 유지하여 안전이 중요한 설정에서 로봇 인식에 매우 적합한 UP-Fuse의 효율성과 견고성을 보여줍니다.

LiDAR-camera fusion enhances 3D panoptic segmentation by leveraging camera images to complement sparse LiDAR scans, but it also introduces a critical failure mode. Under adverse conditions, degradation or failure of the camera sensor can significantly compromise the reliability of the perception system. To address this problem, we introduce UP-Fuse, a novel uncertainty-aware fusion framework in the 2D range-view that remains robust under camera sensor degradation, calibration drift, and sensor failure. Raw LiDAR data is first projected into the range-view and encoded by a LiDAR encoder, while camera features are simultaneously extracted and projected into the same shared space. At its core, UP-Fuse employs an uncertainty-guided fusion module that dynamically modulates cross-modal interaction using predicted uncertainty maps. These maps are learned by quantifying representational divergence under diverse visual degradations, ensuring that only reliable visual cues influence the fused representation. The fused range-view features are decoded by a novel hybrid 2D-3D transformer that mitigates spatial ambiguities inherent to the 2D projection and directly predicts 3D panoptic segmentation masks. Extensive experiments on Panoptic nuScenes, SemanticKITTI, and our introduced Panoptic Waymo benchmark demonstrate the efficacy and robustness of UP-Fuse, which maintains strong performance even under severe visual corruption or misalignment, making it well suited for robotic perception in safety-critical settings.

모바일 로봇이 점점 더 까다로운 환경에 진입함에 따라 신뢰할 수 있는 주행 거리 측정은 필수적입니다. 이러한 환경에는 포인트 클라우드 등록을 제한하는 정보가 거의 포함되지 않아 LiDAR-관성 주행 거리 측정(LIO) 정확도가 저하되거나 심지어 발산되는 경우가 많습니다. 이 문제를 해결하기 위해 우리는 견고성을 향상시키기 위해 사용 가능한 형상의 미묘한 변화를 활용하도록 특별히 설계된 새로운 접근 방식인 BIEVR-LIO를 제시합니다. 우리는 표면을 컴팩트한 복셀 방향 높이 이미지로 저장하는 고해상도 맵 표현을 제안합니다. 이 표현은 효율적인 업데이트를 지원하면서 중간 기하학적 기본 요소를 계산하지 않고 등록에 직접 사용할 수 있습니다. 정보 기하학은 환경에 드물게 분산되는 경우가 많기 때문에 우리는 기하학적 정보 영역에 등록에 중점을 두고 정보가 없는 환경의 견고성을 향상시키는 동시에 계산 비용을 줄이는 지도 정보 포인트 샘플링 전략을 제안합니다. 여러 센서, 플랫폼 및 환경에 대한 광범위한 평가를 통해 잘 제한된 장면에서 최첨단 성능을 보여주고 기준 방법이 서로 다른 까다로운 시나리오에서 상당한 개선을 보여줍니다. 또한 BIEVR-LIO로 캡처한 세밀한 형상이 로봇 이동을 위한 고도 매핑과 같은 다운스트림 작업에 사용될 수 있음을 보여줍니다.

Reliable odometry is essential for mobile robots as they increasingly enter more challenging environments, which often contain little information to constrain point cloud registration, resulting in degraded LiDAR–Inertial Odometry (LIO) accuracy or even divergence. To address this, we present BIEVR-LIO, a novel approach designed specifically to exploit subtle variations in the available geometry for improved robustness. We propose a high-resolution map representation that stores surfaces as compact voxel-wise oriented height images. This representation can directly be used for registration without calculation of intermediate geometric primitives while still supporting efficient updates. Since informative geometry is often sparsely distributed in the environment, we further propose a map-informed point sampling strategy that focuses registration on geometrically informative regions, improving robustness in uninformative environments while reducing computational cost. Extensive evaluation across multiple sensors, platforms, and environments demonstrates state-of-the-art performance in well-constrained scenes and substantial improvements in challenging scenarios where baseline methods diverge. Additionally, we demonstrate that the fine-grained geometry captured by BIEVR-LIO can be used for downstream tasks such as elevation mapping for robot locomotion.

환경의 위치 파악 및 매핑은 구조화되지 않은 환경에서 작동하는 모든 로봇에 중요한 작업입니다. ToF(Time-of-Flight) 센서(예: Lidar)는 고해상도 센서를 동시 위치 파악 및 매핑에 사용할 수 있는 모바일 로봇 공학에 유용한 것으로 입증되었습니다. 그러나 소프트 연속체 로봇 공학에서는 이러한 고해상도 센서가 실제 사용하기에는 너무 큽니다. 이는 이러한 로봇의 변형 가능한 특성과 결합되어 구조화되지 않은 환경에서 연속체 로봇(CR) 위치 파악 및 매핑이 거의 손대지 않는 영역이 되는 결과를 가져왔습니다. 이 연구에서는 로봇 길이를 따라 분산된 소형 저해상도 ToF 센서를 사용하는 CR의 위치 파악 기술을 제시합니다. 측정 정보를 로봇 형상과 사전 융합함으로써 각 센서가 빈번한 퇴화 시나리오를 경험하더라도 정확한 위치 파악이 가능함을 보여줍니다. 우리는 53cm 길이의 로봇을 사용하여 모든 실험 조건에서 위치에서 2.5cm, 회전에서 7.2°의 평균 위치 오류를 달성했습니다. 우리는 시뮬레이션과 실제 실험 모두에서 결과가 여러 환경에서 반복된다는 것을 입증하고 이전 맵의 편차 추정에 대한 견고성을 연구합니다.

Localization and mapping of an environment are crucial tasks for any robot operating in unstructured environments. Time-of-flight (ToF) sensors (e.g.,~lidar) have proven useful in mobile robotics, where high-resolution sensors can be used for simultaneous localization and mapping. In soft and continuum robotics, however, these high-resolution sensors are too large for practical use. This, combined with the deformable nature of such robots, has resulted in continuum robot (CR) localization and mapping in unstructured environments being a largely untouched area. In this work, we present a localization technique for CRs that relies on small, low-resolution ToF sensors distributed along the length of the robot. By fusing measurement information with a robot shape prior, we show that accurate localization is possible despite each sensor experiencing frequent degenerate scenarios. We achieve an average localization error of 2.5cm in position and 7.2° in rotation across all experimental conditions with a 53cm long robot. We demonstrate that the results are repeated across multiple environments, in both simulation and real-world experiments, and study robustness in the estimation to deviations in the prior map.

우리는 VGGT에서 생성된 서브맵을 점진적으로 정렬하기 위해 VGGT-SLAM을 크게 개선한 실시간 RGB 피드포워드 SLAM 시스템인 VGGT-SLAM 2.0을 제시합니다. 첫째, 알려지지 않은 카메라 고유 특성이 있는 VGGT의 재구성 모호성을 계속 해결하면서 새로운 요인 그래프 디자인을 생성하여 VGGT-SLAM에서 고차원 15자유도 드리프트 및 평면 퇴화를 제거합니다. 둘째, VGGT의 주의 레이어를 연구함으로써 레이어 중 하나가 추가 교육 없이 무료로 이미지 검색 검증을 지원하는 데 매우 적합하다는 것을 보여줍니다. 이를 통해 거짓 긍정 일치를 거부하고 더 많은 루프 폐쇄를 완료할 수 있습니다. 마지막으로 우리는 Jetson Thor를 사용하여 지상 로봇에서 온라인으로 실행하면서 VGGT-SLAM 2.0이 개방형 물체 감지에 쉽게 적용되고 실시간 성능을 시연할 수 있음을 보여주는 일련의 실험을 수행합니다. 우리는 어수선한 실내 아파트와 사무실 장면부터 4,200평방피트의 헛간에 이르기까지 다양한 환경에서 테스트하고 VGGT-SLAM 2.0이 VGGT-SLAM보다 약 23% 적은 포즈 오류로 TUM 데이터세트에서 가장 높은 정확도를 달성함을 보여줍니다. 코드는 게시 시 공개됩니다.

We present VGGT-SLAM 2.0, a real-time RGB feed-forward SLAM system which substantially improves upon VGGT-SLAM for incrementally aligning submaps created from VGGT. Firstly, we remove high-dimensional 15-degree-of-freedom drift and planar degeneracy from VGGT-SLAM by creating a new factor graph design while still addressing the reconstruction ambiguity of VGGT given unknown camera intrinsics. Secondly, by studying the attention layers of VGGT, we show that one of the layers is well suited to assist in image retrieval verification for free without additional training, which enables both rejecting false positive matches and allows for completing more loop closures. Finally, we conduct a suite of experiments which includes showing VGGT-SLAM 2.0 can easily be adapted for open-set object detection and demonstrating real-time performance while running online onboard a ground robot using a Jetson Thor. We test in environments ranging from cluttered indoor apartments and office scenes to a 4,200 square foot barn, and we also demonstrate VGGT-SLAM 2.0 achieves the highest accuracy on the TUM dataset with about 23 percent less pose error than VGGT-SLAM. Code will be released upon publication.

인간 환경에서 로봇 탐색에는 개방형 어휘 인식과 장기적인 환경 변화를 조화시킬 수 있는 시공간적 의미 표현이 필요합니다. 기초 모델은 강력한 제로샷 인식을 제공하지만 예측은 간헐적이고 뷰에 따라 다르며 이를 매핑 파이프라인에 순진하게 통합하면 시간이 지남에 따라 ID 표류와 오래된 의미 체계가 발생합니다. 우리는 고주파 기하학적 SLAM을 비동기 개방형 어휘 인식과 통합하는 언어 안내 탐색을 위한 4D 시공간 매핑 프레임워크인 SuperMap을 제시합니다. 우리의 핵심 기여는 3D 인식 인스턴스 연결/재활성화와 원칙적인 존재 및 레이블 신뢰도 업데이트를 결합하여 안정적인 개체 ID를 유지하고 폐색 및 장면 변경 시 오래된 지도 콘텐츠를 잘라내는 일관성 기반 매핑 엔진입니다. SuperMap은 객체 의미, 관계 및 기록에 대한 구성 쿼리를 지원하여 비전 언어 모델과 자연스럽게 인터페이스하는 쿼리 가능한 4D 장면 그래프 표현을 생성합니다. 출현/소멸 및 재배치가 포함된 동적 장면을 포함하여 벤치마크 및 실제 로봇에 대한 SuperMap을 시연하고 절제 및 런타임 분석을 제공합니다. 우리는 오픈 어휘 시공간 매핑을 위한 배포 가능한 기준을 커뮤니티에 제공하기 위해 전체 시스템을 오픈 소스로 출시합니다.

Robotic navigation in human environments requires a spatio-temporal semantic representation that can reconcile open-vocabulary perception with long-term environmental changes. While foundation models provide strong zero-shot recognition, their predictions are intermittent and view-dependent, and naively integrating them into mapping pipelines leads to identity drift and stale semantics over time. We present SuperMap, a 4D spatio-temporal mapping framework for language-guided navigation that integrates high-frequency geometric SLAM with asynchronous open-vocabulary perception. Our core contribution is a consistency-driven mapping engine that combines 3D-aware instance association/re-activation with a principled existence-and-label confidence update to maintain stable object identities and prune outdated map content under occlusions and scene changes. SuperMap produces a queryable 4D scene-graph representation that interfaces naturally with Vision-Language Models by supporting compositional queries over object semantics, relations, and history. We demonstrate SuperMap on benchmarks and real robots, including dynamic scenes with appearance/disappearance and relocation, and provide ablations and runtime analysis. We release the full system as open-source to provide the community with a deployable baseline for open-vocabulary spatio-temporal mapping.

안전이 중요한 로봇공학 응용 분야에서는 인식에 있어서 보장되고 실질적인 불확실성 정량화(UQ)가 필수적입니다. 많은 기존 작업은 공식적인 격리 보장을 제공하지 않거나 제한적인 모델링 가정에 의존하거나 완전한 SLAM 파이프라인이 아닌 포즈 추정에만 중점을 둡니다. 본 논문은 3D-3D 랜드마크 기반 SLAM에 대해 입증 가능하게 보장된 UQ 알고리즘을 제시합니다. 알고리즘은 세 가지 기본 UQ 모듈, 즉 매핑을 위한 전방 UQ, 포즈 추적을 위한 후방 UQ, 포즈 복합으로 구성됩니다. 각 모듈은 인증된 불확도 세트를 생성합니다. 입력 불확실성 범위가 결정적일 때 출력 세트는 결정론적 보장을 상속합니다. 즉, 실제 포즈와 랜드마크가 포함되어 있음이 입증됩니다. 특히, 우리는 불확실성 세트를 표현하기 위해 폴리토프를 사용하여 다루기 쉬운 계산과 자세 불확실성에 대한 통합된 처리를 가능하게 합니다. 알고리즘의 실용성을 높이기 위해 등각 예측을 통합하여 미리 정해진 확률로 데이터로부터 측정 불확도를 보정합니다. 시뮬레이션과 실험은 제안된 알고리즘이 강력한 이론적 보장과 실제 유용성을 모두 제공한다는 것을 보여줍니다.

In safety-critical robotics applications, guaranteed and practical uncertainty quantification (UQ) in perception is vital. Many existing works either offer no formal containment guarantee, rely on restrictive modeling assumptions, or focus only on pose estimation rather than a complete SLAM pipeline. This paper presents provably guaranteed UQ algorithms for 3D-3D landmark-based SLAM. The algorithms consist of three basic UQ modules: forward UQ for mapping, backward UQ for pose tracking, and pose compound. Each module produces a certified uncertainty set; when the input uncertainty bounds are deterministic, the output sets inherit deterministic guarantees, i.e., they provably contain the true poses and landmarks. Specifically, we use polytopes to represent uncertainty sets, enabling tractable computations and a unified treatment of pose uncertainty. To enhance algorithms’ practical usability, we incorporate conformal prediction to calibrate measurement uncertainty from data with prescribed probability. Simulations and experiments demonstrate that the proposed algorithms provide both strong theoretical guarantees and practical usability.

LLM(대형 언어 모델) 및 VLM(비전 언어 모델)은 높은 수준의 추론 및 의미론적 이해에서 놀라운 기능을 보여 주지만 명시적인 물리적 기반이 부족하고 적응형 제어를 수행할 수 없기 때문에 접촉이 많은 조작에 직접 적용하는 것은 여전히 ​​어려운 과제로 남아 있습니다. 이러한 격차를 해소하기 위해 우리는 낮은 수준의 제어에서 높은 수준의 추론을 분리하여 제로샷 계획을 가능하게 하는 모듈식 프레임워크인 CoRAL(Contact-Rich Adaptive LLM 기반 제어)을 제안합니다. 블랙박스 정책과 달리 CoRAL은 LLM(대형 언어 모델)을 직접 컨트롤러가 아닌 MPPI(샘플링 기반 모션 플래너)에 대한 상황 인식 목적 함수를 합성하는 비용 설계자로 활용합니다. 시각적 데이터에서 물리적 매개변수의 모호성을 해결하기 위해 우리는 신경 기호 적응 루프를 도입합니다. 비전-언어 모델은 환경 역학(예: 질량, 마찰 추정치)에 대한 의미론적 사전 정보를 제공한 다음 온라인 시스템 식별을 통해 실시간으로 명시적으로 정제되는 반면, LLM은 상호 작용 피드백을 기반으로 전략적 오류를 수정하기 위해 비용 함수 구조를 반복적으로 조정합니다. 또한 검색 기반 메모리 장치를 통해 시스템은 반복 작업 전반에 걸쳐 성공적인 전략을 재사용할 수 있습니다. 이 계층적 아키텍처는 높은 수준의 의미론적 추론을 반응적 실행에서 분리하고 느린 LLM 추론과 동적 접촉 요구 사항 간의 격차를 효과적으로 해소함으로써 실시간 제어 안정성을 보장합니다. 우리는 외부 접촉을 활용하여 "벽에 물체 뒤집기"와 같은 까다롭고 새로운 작업 전반에 걸쳐 시뮬레이션과 실제 하드웨어 모두에서 CoRAL을 검증합니다. 실험에 따르면 CoRAL은 눈에 보이지 않는 접촉이 많은 시나리오에서 성공률을 평균 50% 이상 높이고 적응형 물리적 이해를 통해 시뮬레이션과 실제 간 격차를 효과적으로 처리함으로써 최첨단 VLA 및 기초 모델 기반 플래너 기준을 능가하는 것으로 나타났습니다.

While Large Language Models (LLMs) and Vision-Language Models (VLMs) demonstrate remarkable capabilities in high-level reasoning and semantic understanding, applying them directly to contact-rich manipulation remains a challenge due to their lack of explicit physical grounding and inability to perform adaptive control. To bridge this gap, we propose CoRAL (Contact-Rich Adaptive LLM-based control), a modular framework that enables zero-shot planning by decoupling high-level reasoning from low-level control. Unlike black-box policies, CoRAL utilizes Large Language Models (LLMs) not as direct controllers, but as cost designers that synthesize context-aware objective functions for a sampling-based motion planner (MPPI). To address the ambiguity of physical parameters in visual data, we introduce a neuro-symbolic adaptation loop: a Vision-Language Model provides semantic priors for environmental dynamics (e.g., mass, friction estimates), which are then explicitly refined in real-time via online system identification, while the LLM iteratively modulates the cost function structure to correct strategic errors based on interaction feedback. Furthermore, a retrieval-based memory unit allows the system to reuse successful strategies across recurrent tasks. This hierarchical architecture ensures real-time control stability by decoupling high-level semantic reasoning from reactive execution, effectively bridging the gap between slow LLM inference and dynamic contact requirements. We validate CoRAL on both simulation and real-world hardware across challenging and novel tasks, such as “flipping objects against walls” leveraging extrinsic contacts. Experiments demonstrate that CoRAL outperforms state-of-the-art VLA and foundation-model-based planner baselines by boosting success rates over 50% on average in unseen contact-rich scenarios, effectively handling sim-to-real gaps through its adaptive physical understanding.

우리는 훈련 분포를 넘어 일반화하는 시력 운동 조작 정책을 학습하기 위한 프레임워크인 GHOST를 제시합니다. GHOST는 제어를 (i) 다중 뷰 RGB-D 관찰에서 발생하는 3D 엔드 이펙터에 대한 분포로서 다음 하위 목표를 예측하는 상위 수준 정책과 (ii) 실시예별 작업을 실행하는 하위 수준 목표 조건 컨트롤러로 인수분해합니다. 3D 목표에 대한 이미지 기반 정책을 조절하기 위해 예측된 목표를 이미지 평면에 투영하고 이를 엔드 이펙터 히트맵으로 나타내는 간단한 공간 인터페이스를 도입합니다. 일련의 조작 작업 전반에 걸쳐 이 계층적 분해는 평면 확산 정책에 비해 성능과 견고성을 지속적으로 향상시킵니다. 또한, 우리는 이 계층적 인터페이스를 통해 (시끄러운) 액션 리타겟팅에 의존하지 않고도 사람의 데모를 쉽게 통합할 수 있음을 보여줍니다. 하위 목표는 대체로 구체화에 구애받지 않으므로 인간 비디오에 대한 상위 수준 정책을 교육하여 학습된 기술을 적용하고 구성하는 방법을 지정하는 동시에 로봇 데이터에만 교육된 하위 수준 정책을 유지합니다. 이 계층 구조를 통해 소수의 인간 시연을 사용하여 새로운 개체와 작업 변형에 적응할 수 있습니다.

We present GHOST, a framework for learning visuomotor manipulation policies that generalize beyond the training distribution. GHOST factorizes control into (i) a high-level policy that predicts the next sub-goal as a distribution over 3D end-effector poses from multi-view RGB-D observations, and (ii) a low-level goal-conditioned controller that executes embodiment-specific actions. To condition image-based policies on 3D goals, we introduce a simple spatial interface that projects predicted goals into the image plane and represents them as end-effector heatmaps. Across a suite of manipulation tasks, this hierarchical factorization consistently improves performance and robustness compared to a flat Diffusion Policy. Further, we show that this hierarchical interface also makes it easy to incorporate human demonstrations without relying on (noisy) action retargeting. As sub-goals are largely embodiment-agnostic, we train the high-level policy on human video to specify how learned skills should be applied and composed, while keeping the low-level policy trained purely on robot data. This hierarchy enables adaptation to novel objects and task variations using a small number of human demonstrations.

3D 공간 인식은 일반화 가능한 로봇 조작의 기본이지만 신뢰할 수 있는 고품질 3D 형상을 얻는 것은 여전히 ​​어려운 일입니다. 깊이 센서는 소음과 재료 민감도 때문에 어려움을 겪는 반면, 기존 재구성 모델은 물리적 상호 작용에 필요한 정밀도와 측정 일관성이 부족합니다. RGB 이미지와 로봇 상태에서 실시간으로 정확한 미터법 규모의 장면 형상을 직접 예측하는 피드포워드 조작 가능 3D 재구성 모델인 Robo3R을 소개합니다. Robo3R은 학습된 전역 유사성 변환을 통해 표준 로봇 프레임의 장면 표현으로 통합되는 규모 불변 로컬 기하학과 상대 카메라 포즈를 공동으로 추론합니다. 조작의 정밀한 요구 사항을 충족하기 위해 Robo3R은 선명하고 세밀한 포인트 클라우드를 위한 마스크된 포인트 헤드와 키포인트 기반 PnP(Perspective-n-Point) 공식을 사용하여 카메라 외부 기능과 전역 정렬을 개선합니다. 4백만 개의 충실도가 높은 주석 프레임이 포함된 엄선된 대규모 합성 데이터세트인 Robo3R-4M을 기반으로 교육받은 Robo3R은 최첨단 재구성 방법 및 깊이 센서보다 지속적으로 뛰어난 성능을 발휘합니다. 모방 학습, 시뮬레이션-실제 전송, 파악 합성 및 충돌 없는 동작 계획을 포함한 다운스트림 작업 전반에 걸쳐 성능이 지속적으로 향상되는 것을 관찰하여 로봇 조작을 위한 대체 3D 감지 모듈의 가능성을 제시합니다.

3D spatial perception is fundamental to generalizable robotic manipulation, yet obtaining reliable, high-quality 3D geometry remains challenging. Depth sensors suffer from noise and material sensitivity, while existing reconstruction models lack the precision and metric consistency required for physical interaction. We introduce Robo3R, a feed-forward, manipulation-ready 3D reconstruction model that predicts accurate, metric-scale scene geometry directly from RGB images and robot states in real time. Robo3R jointly infers scale-invariant local geometry and relative camera poses, which are unified into the scene representation in the canonical robot frame via a learned global similarity transformation. To meet the precision demands of manipulation, Robo3R employs a masked point head for sharp, fine-grained point clouds, and a keypoint-based Perspective-n-Point (PnP) formulation to refine camera extrinsics and global alignment. Trained on Robo3R-4M, a curated large-scale synthetic dataset with four million high-fidelity annotated frames, Robo3R consistently outperforms state-of-the-art reconstruction methods and depth sensors. Across downstream tasks including imitation learning, sim-to-real transfer, grasp synthesis, and collision-free motion planning, we observe consistent gains in performance, suggesting the promise of this alternative 3D sensing module for robotic manipulation.

확산 기반 정책은 정확한 로봇 조작을 위한 새로운 표준을 확립했지만 심각한 확장성 병목 현상에 직면해 있습니다. 고성능 모델은 계산 비용이 많이 드는 반면 경량 대안은 다양한 다중 작업 환경에서 일반화하는 데 실패하는 경우가 많습니다. 전문가 혼합(MoE) 아키텍처는 매개변수의 하위 집합만 활성화하여 효율성을 높일 수 있는 유망한 경로를 제공합니다. 그러나 기존 MoE 라우팅 메커니즘은 일반적으로 조작 작업의 구성적 특성을 무시하고 낮은 수준의 노이즈 또는 잠재 통계에 의존합니다. 이로 인해 재사용 가능한 기술을 포착하지 못하는 중복된 전문가가 생겨 해석 가능성과 전달이 모두 제한됩니다. 의미론적 작업 구조에서 전문가 전문화를 기반으로 하는 프레임워크인 구성 로봇 조작(SMoDP)을 위한 의미론적으로 구조화된 전문가 혼합 확산 정책을 소개합니다. SMoDP는 오프라인 VLM 주석에서 추출된 가벼운 추론 시간 기술 예측기를 활용하여 특정 행동 단계에 특화된 전문가에게 작업 청크를 라우팅합니다. 강력한 할당을 보장하기 위해 언어 정의 기술 의미론(Inter-modal)에서 다중 모드 관찰을 기반으로 하는 동시에 시각적으로 구별되지만 기능적으로 동일한 동작(Intra-modal)에 걸쳐 라우팅 일관성을 적용하는 이중 대조 정렬 전략을 제안합니다. 우리의 접근 방식은 크게 향상된 매개변수 효율성을 통해 다중 작업 벤치마크에서 최첨단 성능을 달성하고 매개변수 효율적인 미세 조정을 통해 새로운 작업으로의 효과적인 구성 전송을 보여줍니다.

Diffusion-based policies have established a new standard for precise robotic manipulation but face a critical scalability bottleneck: high-performance models are computationally expensive, while lightweight alternatives often fail to generalize across diverse multi-task environments. Mixture-of-Experts (MoE) architectures offer a promising path to efficiency by activating only a subset of parameters. However, existing MoE routing mechanisms typically rely on low-level noise or latent statistics, ignoring the compositional nature of manipulation tasks. This results in redundant experts that fail to capture reusable skills, limiting both interpretability and transfer. We introduce Semantically Structured Mixture-of-Experts Diffusion Policy for Compositional Robotic Manipulation (SMoDP), a framework that grounds expert specialization in semantic task structure. SMoDP leverages a lightweight, inference-time skill predictor—distilled from offline VLM annotations—to route action chunks to experts specialized for specific behavioral phases. To ensure robust assignment, we propose a dual contrastive alignment strategy that grounds multi-modal observations in language-defined skill semantics (Inter-modal) while enforcing routing consistency across visually distinct but functionally identical behaviors (Intra-modal). Our approach achieves state-of-the-art performance on multi-task benchmarks with significantly improved parameter efficiency and demonstrates effective compositional transfer to novel tasks through parameter-efficient fine-tuning.

작업 청크를 사용하면 VLA(Vision Language Action) 모델이 실시간으로 실행될 수 있지만 순진한 청크 실행은 청크 경계에서 불연속성을 나타내는 경우가 많습니다. RTC(실시간 청킹)는 이 문제를 완화하지만 정책 외부에 있으므로 허위 다중 모드 전환 및 본질적으로 원활하지 않은 궤적을 초래합니다. 우리는 작업 청크 흐름 기반 VLA 정책을 위한 훈련 시간 연속 방법인 Legato를 제안합니다. 특히 Legato는 알려진 동작과 잡음이 혼합된 일정 형태의 잡음 제거를 초기화하여 모델을 부분 동작 정보에 노출시킵니다. 또한 Legato는 학습된 흐름 역학을 재구성하여 단계별 지침에 따라 훈련과 추론 간에 노이즈 제거 프로세스가 일관되게 유지되도록 합니다. Legato는 훈련 중에 무작위 일정 조건을 사용하여 다양한 추론 지연을 지원하고 제어 가능한 부드러움을 달성합니다. 경험적으로 Legato는 더 부드러운 궤적을 생성하고 실행 중 잘못된 다중 모드 전환을 줄여서 주저함이 줄어들고 작업 완료 시간이 단축됩니다. 광범위한 실제 실험을 통해 Legato는 5가지 조작 작업에서 지속적으로 RTC보다 뛰어난 성능을 보여 궤적의 부드러움과 작업 완료 시간 모두에서 약 10% 향상되는 것으로 나타났습니다.

Action chunking enables Vision Language Action (VLA) models to run in real time, but naive chunked execution often exhibits discontinuities at chunk boundaries. Real-Time Chunking (RTC) alleviates this issue but is external to the policy, leading to spurious multimodal switching and trajectories that are not intrinsically smooth. We propose Legato, a training-time continuation method for action-chunked flow-based VLA policies. Specifically, Legato initializes denoising from a schedule-shaped mixture of known actions and noise, exposing the model to partial action information. Moreover, Legato reshapes the learned flow dynamics to ensure that the denoising process remains consistent between training and inference under per-step guidance. Legato further uses randomized schedule condition during training to support varying inference delays and achieve controllable smoothness. Empirically, Legato produces smoother trajectories and reduces spurious multimodal switching during execution, leading to less hesitation and shorter task completion time. Extensive real-world experiments show that Legato consistently outperforms RTC across five manipulation tasks, achieving approximately 10% improvements in both trajectory smoothness and task completion time.

능숙한 잡기는 로봇 공학의 기본이지만 데이터 기반 잡기 예측은 생성하는 데 비용이 많이 들고 일반적으로 좁은 범위의 그리퍼 형태로 제한되는 크고 다양한 데이터 세트에 크게 의존합니다. 분석적 파악 합성을 사용하여 데이터 수집을 확장할 수 있지만 필요한 단순화 가정으로 인해 고충실도 시뮬레이터에서 필터링해야 하는 물리적으로 실행 불가능한 파악이 생성되는 경우가 많아 총 파악 수와 다양성이 크게 줄어듭니다. 우리는 대규모의 다양하고 물리적으로 실현 가능한 파악을 합성하기 위한 확장 가능한 생성 및 개선 파이프라인을 제안합니다. 검증 및 필터링에만 충실도가 높은 시뮬레이터를 사용하는 대신 사전 계산된 후보를 폐기하지 않고 파악 품질을 지속적으로 향상시키는 최적화 단계로 활용합니다. 보다 구체적으로, 우리는 분석적으로 생성되고 잠재적으로 차선책인 파악의 시드 세트를 사용하여 진화적 검색을 초기화합니다. 그런 다음 비동기식, 그라데이션 없는 진화 알고리즘을 사용하여 충실도가 높은 시뮬레이터(Isaac Sim)에서 이러한 제안을 직접 개선하여 다양성을 유지하면서 안정성을 향상시킵니다. 또한 이 개선 단계는 차별화 가능한 목표를 요구하지 않고 인간 선호도 및/또는 도메인별 품질 측정 기준을 향해 안내될 수 있습니다. 우리는 정제된 파악 분포를 강력한 실제 배포를 위한 확산 모델로 추출하고 효과적인 교육과 배포 중 다양성의 역할을 강조합니다. 새로 도입된 Handles 데이터 세트와 DexGraspNet 하위 집합에 대한 실험에서는 우리의 접근 방식이 개체당 120개 이상의 고유한 안정적인 파악(정제되지 않은 분석 방법에 비해 1.7~6배 개선)을 달성하는 동시에 고유한 파악 범위에서 확산 기반 대안보다 46~60% 더 뛰어난 성능을 보여줍니다.

Dexterous grasping is fundamental to robotics, yet data-driven grasp prediction heavily relies on large, diverse datasets that are costly to generate and typically limited to a narrow set of gripper morphologies. Analytical grasp synthesis can be used to scale data collection, but necessary simplifying assumptions often yield physically infeasible grasps that need to be filtered in high-fidelity simulators, significantly reducing the total number of grasps and their diversity. We propose a scalable generate-and-refine pipeline for synthesizing large-scale, diverse, and physically feasible grasps. Instead of using high-fidelity simulators solely for verification and filtering, we leverage them as an optimization stage that continuously improves grasp quality without discarding precomputed candidates. More specifically, we initialize an evolutionary search with a seed set of analytically generated, potentially suboptimal grasps. We then refine these proposals directly in a high-fidelity simulator (Isaac Sim) using an asynchronous, gradient-free evolutionary algorithm, improving stability while maintaining diversity. In addition, this refinement stage can be guided toward human preferences and/or domain-specific quality metrics without requiring a differentiable objective. We further distill the refined grasp distribution into a diffusion model for robust real-world deployment, and highlight the role of diversity for both effective training and during deployment. Experiments on a newly introduced Handles dataset and a DexGraspNet subset demonstrate that our approach achieves over 120 distinct stable grasps per object (a 1.7-6x improvement over unrefined analytical methods) while outperforming diffusion-based alternatives by 46-60% in unique grasp coverage.

팔 전체 조작에는 환경과의 직접적인 접촉이 포함되며, 로봇은 접촉이 형성되고 미끄러지고 파손될 때 여러 링크에 접촉을 분산시켜 작업을 완료합니다. 이 설정은 많은 학습 기반 조작 파이프라인에서 일반적인 암시적 가정을 깨뜨립니다. 팔 구성은 모션과 접촉 힘을 긴밀하게 연결하고, 접촉 상태는 폐쇄 하에서 부분적으로 관찰되며, 순수하게 학습된 롤아웃은 많은 다중 링크 접촉 구성이 데이터에 드물게 표시되기 때문에 분포 이동 하에서 물리적으로 일관되지 않을 수 있습니다. 이를 해결하기 위해 우리는 팔 전체 조작을 위한 후진 수평 컨트롤러인 TACTIC(Tactile and Vision Conditioned Contact-Centric Control)을 제안합니다. TACTIC은 RGB-D, 분산 촉각 감지 및 소형 2D 근접 표현을 결합한 접촉 중심 하이브리드 예측 모델을 사용합니다. 이 모델은 학습된 동작 조건 잠재 역학 모델과 접촉 야코비언을 통한 분석 운동학을 결합하여 향후 접촉 구성 및 상호 작용 힘의 롤아웃을 가능하게 합니다. TACTIC은 접촉 인식 작업 샘플링을 통해 이러한 롤아웃을 샘플링 기반 MPC 플래너에 통합합니다. 접촉 인식 야코비안 기반 예측은 샘플링된 작업 시퀀스를 힘 변조 방향으로 조정하고 예측된 근접성 및 상호 작용 힘에 대해 정의된 목표는 전체 팔 힘 조절에 대한 작업 진행을 거래합니다. 우리는 최첨단 모델 기반 및 모델 없는 방법에 대해 시뮬레이션에서 TACTIC을 평가하고 각 설계 선택의 기여도를 분리하는 절제를 수행합니다. 실험 전반에 걸쳐 TACTIC은 지속적으로 다른 방법보다 성능이 뛰어납니다. 또한 다중 접촉 궤적이 필요한 세 가지 전체 팔 조작 작업(마네킹 뒤집기 및 재배치, 3D 동적 미로에서 목표 도달)에 걸쳐 분산된 촉각 감지 기능을 갖춘 로봇의 실제 성능을 시연합니다.

Whole-arm manipulation involves direct contact with the environment while the robot completes a task by distributing contact across multiple links as contacts form, slide, and break. This setting breaks common implicit assumptions in many learning-based manipulation pipelines: arm configuration tightly couples motion and contact forces, contact state is partially observed under occlusion, and purely learned rollouts can become physically inconsistent under distribution shift because many multi-link contact configurations are sparsely represented in the data. To address this, we propose TACTIC (Tactile and Vision Conditioned Contact-Centric Control), a receding-horizon controller for whole-arm manipulation. TACTIC uses a contact-centric hybrid predictive model that combines RGB-D, distributed tactile sensing, and a compact 2D proximity representation. The model couples a learned, action-conditioned latent dynamics model with analytical kinematics through contact Jacobians, enabling rollouts of future contact configurations and interaction forces. TACTIC integrates these rollouts into a sampling-based MPC planner with contact-aware action sampling: contact Jacobian-based projections steer sampled action sequences toward force-modulating directions, and objectives defined over predicted proximity and interaction forces trade task progress against whole-arm force regulation. We evaluate TACTIC in simulation against state-of-the-art model-based and model-free methods, and perform ablations that isolate the contribution of each design choice. Across experiments, TACTIC consistently outperforms other methods. We further demonstrate real-world performance on a robot with distributed tactile sensing across three whole-arm manipulation tasks that require multi-contact trajectories: turning over and repositioning a manikin, and goal-reaching in a 3D dynamic maze.

신뢰할 수 있는 로봇 조작에는 접촉이 많은 상호 작용에서 발생하는 불확실성을 정확하게 표현하고 이에 적응할 수 있는 제어 정책이 필요합니다. 최신 데이터 기반 방법은 대규모 교육 및 계산을 통해 불확실성을 완화하고 제한된 수의 교육 샘플로 성능을 크게 저하시킵니다. 대조적으로, 고전적인 모델 기반 컨트롤러는 계산적으로 효율적이고 신뢰할 수 있지만 작업 관련 불확실성을 나타내는 제한된 능력으로 인해 접촉이 많은 상호 작용의 성능이 저하될 수 있습니다. 본 연구에서는 불확실성에 정확히 적응하면서도 성능을 유지하는 보다 유연한 불확실성 모델링을 통해 모델 기반 조작 제어 기능을 확장할 것을 제안합니다. 우리의 접근 방식은 조작 문제를 분산적으로 견고한 제어 최적화로 캐스팅하고 작업에 민감한 매개변수 불확실성을 명시적으로 모델링하면서 성능을 보존하는 Stein 변이 추론을 기반으로 하는 새로운 결정론적 공식을 제안합니다. 결과적으로 파생된 컨트롤러는 불확실성에 대한 작업 민감도를 더 잘 인식하여 성능 저하 없이 높은 신뢰성을 제공합니다. 실험 결과는 광범위한 매개변수 불확실성 하에서 다양한 접촉이 많은 조작 작업 전반에 걸쳐 견고성이 최대 3배 향상되어 기존 모델 기반 제어 방법을 능가하는 것으로 나타났습니다.

Reliable robotic manipulation requires control policies that can accurately represent and adapt to uncertainty arising from contact-rich interactions. Modern data-driven methods mitigate uncertainty through large-scale training and computation, and degrade significantly in performance with limited number of training samples. By contrast, classical model-based controllers are computationally efficient and reliable, but their limited ability to represent task-relevant uncertainty can hinder performance in contact-rich interactions. In this work, we propose to expand the capabilities of model-based manipulation control through more flexible uncertainty modeling that retains performance while exactly adapting to uncertainty. Our approach casts the manipulation problem as a distributionally robust control optimization and proposes a novel deterministic formulation based on Stein variational inference that preserves performance while explicitly modeling task-sensitive parameter uncertainty. As a result, the derived controllers are more aware of task sensitivities to uncertainty, yielding high reliability without compromising performance. Experimental results demonstrate up to 3× improved robustness across a range of contact-rich manipulation tasks under broad parametric uncertainty, outperforming existing model-based control methods.

로봇 학습 연구의 중요한 과제는 로봇 정책의 성과를 정확하게 측정하고 비교할 수 있는 능력입니다. 실제 롤아웃의 확률성, 재현성 및 시간 소모적 특성으로 인해 로봇 공학의 벤치마킹은 역사적으로 어려운 일입니다. 이러한 과제는 다양한 상황과 업무에 걸쳐 평가되어야 하는 최근의 일반주의적 정책에서 더욱 악화됩니다. 시뮬레이션 평가는 실제 평가에 대한 확장 가능한 보완을 제공하지만 기존 시뮬레이션 벤치마크와 실제 세계 사이의 시각적, 물리적 영역 차이로 인해 정책 개선을 위한 신뢰할 수 없는 신호가 되었습니다. 또한 현실적이고 다양한 시뮬레이션 환경을 구축하려면 전통적으로 상당한 인적 노력과 전문 지식이 필요했습니다. 격차를 해소하기 위해 고충실도 시뮬레이션 로봇 평가를 위한 확장 가능한 Real-to-Sim 프레임워크인 PolaRiS(Policy Evaluation and Environment Reconstruction in Simulation)를 소개합니다. PolaRiS는 신경 재구성 방법을 활용하여 실제 장면의 짧은 비디오 스캔을 대화형 시뮬레이션 환경으로 전환합니다. 또한 우리는 실제와 시뮬레이션 사이의 격차를 해소하고 눈에 보이지 않는 시뮬레이션 환경에서 제로 샷 평가를 가능하게 하는 간단한 시뮬레이션 데이터 공동 훈련 레시피를 개발합니다. 600개의 실제 롤아웃과 93,000개 이상의 시뮬레이션 롤아웃에 대한 광범위한 쌍별 평가를 통해 PolaRiS 평가가 기존 시뮬레이션 벤치마크보다 실제 세계의 미세 조정되지 않은 일반 정책 순위와 훨씬 더 강력한 상관 관계를 제공한다는 것을 보여줍니다. 또한 그 단순성 덕분에 다양한 시뮬레이션 환경을 신속하게 생성할 수 있습니다. 따라서 이 작업은 차세대 로봇 기반 모델에 대한 분산되고 민주화된 평가를 향한 한 걸음을 내디뎠습니다.

A significant challenge for robot learning research is our ability to accurately measure and compare the performance of robot policies. Benchmarking in robotics is historically challenging due to the stochasticity, reproducibility, and time-consuming nature of real-world rollouts. This challenge is exacerbated for recent generalist policies, which have to be evaluated across a wide variety of scenes and tasks. Evaluation in simulation offers a scalable complement to real world evaluations, but the visual and physical domain gap between existing simulation benchmarks and the real world has made them an unreliable signal for policy improvement. Furthermore, building realistic and diverse simulated environments has traditionally required significant human effort and expertise. To bridge the gap, we introduce Policy Evaluation and Environment Reconstruction in Simulation (PolaRiS), a scalable real-to-sim framework for high-fidelity simulated robot evaluation. PolaRiS utilizes neural reconstruction methods to turn short video scans of real-world scenes into interactive simulation environments. Additionally, we develop a simple simulation data co-training recipe that bridges remaining real-to-sim gaps and enables zero-shot evaluation in unseen simulation environments. Through extensive paired evaluations, across 600 real-world rollouts and over 93,000 simulation rollouts, we demonstrate that PolaRiS evaluations provide a much stronger correlation to real world, non-finetuned generalist policy ranking than existing simulated benchmarks. Its simplicity also enables rapid creation of diverse simulated environments. As such, this work takes a step towards distributed and democratized evaluation for the next generation of robotic foundation models.

ZSON(Zero-Shot Object Goal Navigation)은 로봇에게 중요한 작업입니다. MLLM(다중 모드 대형 언어 모델)은 의미론적 추론 기능을 로봇에 부여했지만, 현재의 RGB 전용 탐색 방법은 종종 명시적인 기하학적 제약 조건과 공간 메모리가 부족하여 높은 수준의 이산 논리를 낮은 수준의 연속 물리적 실행과 정렬하는 데 여전히 어려움을 겪고 있습니다. 본 논문에서는 강력한 RGB 전용 ZSON을 위해 설계된 계층적 프레임워크인 MVP-Nav(Multi-layer ValueMap Planner Navigator)를 제안합니다. 우리의 접근 방식은 3D 기반 모델을 활용하여 단안 관찰에서 의미 인스턴스의 물리적 규모와 공간 점유를 복구하고 이를 동적 공간 의미 목록 내 OBB(Oriented Bounding Box)로 표시합니다. 우리 시스템의 핵심에는 탐색 허브 역할을 하는 MVM(Multi-layer Value Maps) 메커니즘이 있습니다. MLLM은 의미론적 가중치를 할당하고 탐색 모드를 결정하는 상위 수준 계획자 역할을 하는 반면, 하위 수준 컨트롤러는 물리적 제약이 융합된 비용 공간 내에서 정밀한 기하학적 경로 계획을 수행합니다. 실험 결과는 MVP-Nav가 심도 없는 방법 중에서 최첨단(SOTA) 성공률과 탐색 효율성을 달성하며 심지어 여러 심도 기반 벤치마크를 능가한다는 것을 보여줍니다.

Zero-Shot Object Goal Navigation (ZSON) is an important task for robots. While Multimodal Large Language Models (MLLMs) have empowered robots with significant semantic reasoning capabilities, current RGB-only navigation methods still struggle to align high-level discrete logic with low-level continuous physical execution, often due to a lack of explicit geometric constraints and spatial memory. In this paper, we propose MVP-Nav (Multi-layer ValueMap Planner Navigator), a hierarchical framework designed for robust RGB-only ZSON. Our approach utilizes a 3D foundation model to recover the physical scale and spatial occupancy of semantic instances from monocular observations, representing them as Oriented Bounding Boxes (OBB) within a dynamic Spatial Semantic List. At the core of our system is the Multi-layer Value Maps (MVM) mechanism, which serves as a navigation hub: the MLLM acts as a high-level planner to assign semantic weights and determine navigation modes, while the low-level controller performs precise geometric path planning within a cost space fused with physical constraints. Experimental results demonstrate that MVP-Nav achieves state-of-the-art (SOTA) success rates and exploration efficiency among depth-free methods, even surpassing several depth-based benchmarks.

구체화된 CoT(사고 사슬) 추론은 VLA(Vision-Language-Action) 모델을 크게 향상시켰지만 현재 방법은 추론 기본 요소(예: 장면의 개체, 상위 수준 계획, 구조적 어포던스)를 지정하기 위해 엄격한 템플릿을 사용합니다. 이러한 템플릿은 정책이 중요한 행동 예측 신호를 방해하는 관련 없는 정보를 처리하도록 할 수 있습니다. 이로 인해 병목 현상이 발생합니다. 성공적인 정책이 없으면 추론 품질을 확인할 수 없습니다. 품질 추론 없이는 강력한 정책을 구축할 수 없습니다. 모델이 자기주도적 개선을 통해 인터넷 규모의 지식으로부터 구체화된 추론을 부트스트랩할 수 있도록 하는 R&B-EnCoRe를 소개합니다. 중요도 가중 변이 추론 내에서 추론을 잠재 변수로 처리함으로써 모델은 외부 보상, 검증자 또는 인간 주석 없이 실시예별 전략의 세련된 추론 훈련 데이터세트를 생성하고 정제할 수 있습니다. 우리는 1B, 4B, 7B 및 30B 매개변수를 사용하는 다양한 VLA 아키텍처를 사용하여 조작(시뮬레이션의 Franka Panda, 하드웨어의 WidowX), 다리 내비게이션(이족 보행, 바퀴 달린 자전거, 4족 보행) 및 자율 주행 구현 전반에 걸쳐 R&B-EnCoRe를 검증합니다. 우리의 접근 방식은 사용 가능한 모든 기본 요소에 대해 무분별하게 추론하는 모델에 비해 조작 성공률이 28% 증가하고 탐색 점수가 101% 향상되었으며 충돌률 지표가 21% 감소했습니다. R&B-EnCoRe를 사용하면 모델이 수동 주석 엔지니어링을 우회하고 물리적 실행에서 인터넷 규모의 지식을 기반으로 성공적인 제어를 예측하는 추론을 추출할 수 있습니다.

Embodied Chain-of-Thought (CoT) reasoning has significantly enhanced Vision-Language-Action (VLA) models, yet current methods rely on rigid templates to specify reasoning primitives (e.g., objects in the scene, high-level plans, structural affordances). These templates can force policies to process irrelevant information that distracts from critical action-prediction signals. This creates a bottleneck: without successful policies, we cannot verify reasoning quality; without quality reasoning, we cannot build robust policies. We introduce R&B-EnCoRe, which enables models to bootstrap embodied reasoning from internet-scale knowledge through self-supervised refinement. By treating reasoning as a latent variable within importance-weighted variational inference, models can generate and distill a refined reasoning training dataset of embodiment-specific strategies without external rewards, verifiers, or human annotation. We validate R&B-EnCoRe across manipulation (Franka Panda in simulation, WidowX in hardware), legged navigation (bipedal, wheeled, bicycle, quadruped), and autonomous driving embodiments using various VLA architectures with 1B, 4B, 7B, and 30B parameters. Our approach achieves 28% gains in manipulation success, 101% improvement in navigation scores, and 21% reduction in collision-rate metric over models that indiscriminately reason about all available primitives. R&B-EnCoRe enables models to distill reasoning that is predictive of successful control, bypassing manual annotation engineering while grounding internet-scale knowledge in physical execution.

이기종 장애물 규모와 복잡한 모션 패턴으로 인해 밀도가 높고 동적인 혼란 속에서 자율적으로 탐색하는 것은 무인 항공기(UAV)의 근본적인 과제로 남아 있습니다. 기존 방법은 깨지기 쉬운 명시적 추적이나 잡음에 민감한 암시적 흐름 추정에 의존하는 경우가 많으며, 둘 다 불규칙한 기하학적 구조와 실시간 제약 조건으로 인해 어려움을 겪고 있습니다. 우리는 현저성 기반 이중 해상도 시공간 표현을 통해 원시 LiDAR 관찰을 제어 작업에 직접 매핑하는 새로운 엔드투엔드 강화 학습 프레임워크인 D-Nav를 제안합니다. 글로벌 수준에서 D-Nav는 순차적 LiDAR 측정에서 직접 장면 구조와 모션 추세를 인코딩하는 시공간 구형 깊이 표현을 구성합니다. 이러한 글로벌 컨텍스트를 기반으로 돌출성 기반 개선 메커니즘은 동적으로 중요한 영역을 식별하고 로컬 수준에서 세분화된 기하학적 및 모션 큐를 추출하도록 설계되었습니다. 이 공식을 통해 정책은 복잡한 동적 환경에서 대규모 동적 컨텍스트와 작고 불규칙하며 빠르게 움직이는 장애물을 모두 추론할 수 있습니다. 또한 D-Nav는 충돌 회피와 작업에 중요한 지역을 횡단해야 하는 필요성의 균형을 맞추는 정책을 명시적으로 안내하는 새로운 임무 인식 웨이포인트 목표 조건 메커니즘을 도입합니다. 광범위한 시뮬레이션을 통해 복잡한 동적 환경에서 탐색 성공률이 0.37에서 0.56으로 크게 향상되었음을 보여줍니다. 실제 실험은 다양한 동적 시나리오에서 제안된 시스템의 견고성과 실시간 기능을 더욱 검증합니다. 코드는 https://anonymous.4open.science/r/D-NAV-2EF6에서 확인할 수 있습니다.

Autonomous navigation in dense, dynamic clutter remains a fundamental challenge for Unmanned Aerial Vehicles (UAVs) due to the heterogeneous obstacle scales and complex motion patterns. Existing methods often rely on fragile explicit tracking or noise-sensitive implicit flow estimation, both of which struggle with irregular geometries and real-time constraints. We propose D-Nav, a novel end-to-end reinforcement learning framework that directly maps raw LiDAR observations to control actions through a saliency-driven dual-resolution spatio-temporal representation. At the global level, D-Nav constructs a spatio-temporal spherical depth representation that encodes scene structure and motion trends directly from sequential LiDAR measurements. Building on this global context, a saliency-based refinement mechanism is designed to identify dynamically critical regions and extract fine-grained geometric and motion cues at the local level. This formulation enables the policy to reason about both large-scale dynamic context and small, irregular, fast-moving obstacles in complex dynamic environments. In addition, D-Nav introduces a new mission-aware waypoint-goal condition mechanism that explicitly guides the policy to balance collision avoidance with the need to traverse task-critical regions. Extensive simulations demonstrate a significant improvement in navigation success, increasing from 0.37 to 0.56 in complex dynamic environments. Real-world experiments further validate the robustness and real-time capability of the proposed system across diverse dynamic scenarios. The code is available at https://anonymous.4open.science/r/D-NAV-2EF6.

오프로드 주행 시 저속이 항상 안전을 보장하는 것은 아닙니다. 예를 들어, 도랑을 건너는 것은 저속에서는 끼일 위험 때문에 위험할 수 있지만 제어되고 가속된 점프를 통해 더 빠른 속도에서는 안전할 수 있습니다. 이러한 동작을 달성하려면 복잡한 모션 역학을 명시적으로 모델링하는 경로 계획이 필요하지만 기존 방법은 종종 이 측면을 무시하고 위치 또는 고정 속도에만 기반하여 계획합니다. 이러한 격차를 해결하기 위해 실제 로봇 동작에 따라 지형 비용을 명시적으로 모델링하는 MAT(Motion-aware Traversability) 표현을 도입했습니다. 횡단 가능성에 대해 단일 스칼라 점수를 할당하는 대신 MAT는 각 지형 영역을 속도의 가우스 함수로 모델링합니다. 온라인 계획 중에 지형 비용 계산을 두 단계로 분해합니다. (1) 단일 순방향 패스의 인식에서 지형 종속 가우스 매개 변수를 예측하고, (2) 반복 추론 없이 이러한 기능을 평가하여 현재 역학에서 추론된 새로운 속도에 대한 지형 비용을 효율적으로 업데이트합니다. 우리는 민첩한 오프로드 탐색을 가능하게 하고 다양한 장애물이 있는 시뮬레이션 환경과 실제 환경에서 이를 평가하기 위해 MAT를 통합하는 시스템을 개발합니다. 결과에 따르면 MAT는 실시간 효율성을 달성하고 오프로드 탐색 성능을 향상시켜 경로 우회를 75% 줄이면서 까다로운 지형에서 안전을 유지하는 것으로 나타났습니다.

Low speed does not always guarantee safety in off-road driving. For instance, crossing a ditch may be risky at a low speed due to the risk of getting stuck, yet safe at a higher speed with a controlled, accelerated jump. Achieving such behavior requires path planning that explicitly models complex motion dynamics, whereas existing methods often neglect this aspect and plan solely based on positions or a fixed velocity. To address this gap, we introduce Motion-aware Traversability (MAT) representation to explicitly model terrain cost conditioned on actual robot motion. Instead of assigning a single scalar score for traversability, MAT models each terrain region as a Gaussian function of velocity. During online planning, we decompose the terrain cost computation into two stages: (1) predict terrain-dependent Gaussian parameters from perception in a single forward pass, (2) efficiently update terrain costs for new velocities inferred from current dynamics by evaluating these functions without repeated inference. We develop a system that integrates MAT to enable agile off-road navigation and evaluate it in both simulated and real-world environments with various obstacles. Results show that MAT achieves real-time efficiency and enhances the performance of off-road navigation, reducing path detours by 75% while maintaining safety across challenging terrains.

개방형 탐색을 위해서는 로봇이 유연한 작업 요구 사항에 적응하면서 복잡한 일상 환경에서 결정을 내려야 합니다. 기존 탐색 접근 방식은 조밀한 3D 재구성과 손으로 만든 목표 측정 기준에 의존하는 경우가 많아 작업과 환경 전반에 걸친 일반화가 제한됩니다. VLN(비전-언어 탐색) 및 VLA(비전-언어-작업) 모델의 최근 발전으로 자연어를 기반으로 한 엔드투엔드 정책이 가능해졌지만 일반적으로 대화형 교육, 대규모 데이터 수집 또는 모바일 에이전트를 사용한 작업별 미세 조정이 필요합니다. 우리는 탐색을 희박한 하위 목표 식별 및 도달 문제로 공식화하고 높은 수준의 의미 사전에 대한 시각적 고정 대상을 제공하면 매우 효율적인 목표 조건 탐색이 가능하다는 것을 관찰합니다. 이러한 통찰을 바탕으로 우리는 탐색 경계를 의미론적 앵커로 선택하고 다양한 비전 언어 이전 모델을 원활하게 통합하는 훈련이 필요 없는 탐색 프레임워크인 OpenFrontier를 제안합니다. OpenFrontier는 조밀한 3D 매핑, 정책 교육 또는 모델 미세 조정 없이 간단한 시스템 설계로 효율적인 탐색을 가능하게 합니다. 우리는 여러 탐색 벤치마크에서 OpenFrontier를 평가하고 강력한 제로샷 성능은 물론 모바일 로봇의 효과적인 실제 배포를 보여줍니다.

Open-world navigation requires robots to make decisions in complex everyday environments while adapting to flexible task requirements. Conventional navigation approaches often rely on dense 3D reconstruction and hand-crafted goal metrics, which limits their generalization across tasks and environments. Recent advances in vision-language navigation (VLN) and vision-language-action (VLA) models enable end-to-end policies conditioned on natural language, but typically require interactive training, large-scale data collection, or task-specific fine-tuning with a mobile agent. We formulate navigation as a sparse subgoal identification and reaching problem and observe that providing visual anchoring targets for high-level semantic priors enables highly efficient goal-conditioned navigation. Based on this insight, we select navigation frontiers as semantic anchors and propose OpenFrontier, a training-free navigation framework that seamlessly integrates diverse vision-language prior models. OpenFrontier enables efficient navigation with a simple system design, without dense 3D mapping, policy training, or model fine-tuning. We evaluate OpenFrontier across multiple navigation benchmarks and demonstrate strong zero-shot performance, as well as effective real-world deployment on a mobile robot.

본 논문에서는 장거리 탐색을 위한 VLA(시각 언어 동작) 모델을 최적화하도록 설계된 엔드투엔드 다중 회전 강화 학습(RL) 프레임워크인 LongNav-R1을 개발합니다. 기존 단일 회전 패러다임과 달리 LongNav-R1은 탐색 결정 프로세스를 VLA 정책과 구현된 환경 간의 지속적인 다중 회전 대화로 재구성합니다. 이 다중 회전 RL 프레임워크는 두 가지 뚜렷한 이점을 제공합니다. i) 에이전트가 과거 상호 작용과 순차적 미래 결과의 인과 효과에 대해 추론할 수 있습니다. ii) 모델이 온라인 상호 작용을 통해 직접 학습하여 다양한 궤적 생성을 촉진하고 인간 시연으로 인해 종종 부과되는 행동 경직성을 피할 수 있습니다. 또한 Horizon-Adaptive Policy Optimization을 소개합니다. 이 메커니즘은 이점 추정 중에 다양한 수평 길이를 명시적으로 설명하여 확장된 시퀀스에 대한 정확한 시간적 크레딧 할당을 촉진합니다. 결과적으로 에이전트는 다양한 탐색 동작을 개발하고 장거리 작업 중에 붕괴에 저항합니다. 개체 탐색 벤치마크에 대한 실험을 통해 프레임워크의 효율성이 검증되었습니다. 4,000개의 롤아웃 궤적을 통해 LongNav-R1은 Qwen3-VL-2B 성공률을 64.3%에서 73.0%로 높였습니다. 이러한 결과는 탁월한 시료 효율성을 입증하고 최첨단 방법보다 훨씬 뛰어난 성능을 발휘합니다. 모델의 일반화 가능성과 견고성은 장거리 실제 탐색 설정에서 제로샷 성능을 통해 더욱 검증됩니다. 모든 소스 코드는 게시 즉시 오픈 소스로 공개됩니다.

This paper develops LongNav-R1, an end-to-end multi-turn reinforcement learning (RL) framework designed to optimize Visual-Language-Action (VLA) models for long-horizon navigation. Unlike existing single-turn paradigm, LongNav-R1 reformulates the navigation decision process as a continuous multi-turn conversation between the VLA policy and the embodied environment. This multi-turn RL framework offers two distinct advantages: i) it enables the agent to reason about the causal effects of historical interactions and sequential future outcomes; and ii) it allows the model to learn directly from online interactions, fostering diverse trajectory generation and avoiding the behavioral rigidity often imposed by human demonstrations. Furthermore, we introduce Horizon-Adaptive Policy Optimization. This mechanism explicitly accounts for varying horizon lengths during advantage estimation, facilitating accurate temporal credit assignment over extended sequences. Consequently, the agent develops diverse navigation behaviors and resists collapse during long-horizon tasks. Experiments on object navigation benchmarks validate the framework’s efficacy: With 4,000 rollout trajectories, LongNav-R1 boosts the Qwen3-VL-2B success rate from 64.3% to 73.0%. These results demonstrate superior sample efficiency and significantly outperform state-of-the-art methods. The model’s generalizability and robustness are further validated by its zero-shot performance in long-horizon real-world navigation settings. All source code will be open-sourced upon publication.

신뢰할 수 있는 지역 계획을 수립하는 과제는 매우 복잡하고 역동적인 환경에서 실제 적용을 오랫동안 방해해 왔습니다. 주요 근본적인 병목 현상에는 다양한 장면에서 대규모 전문가 시연을 확보하고 제한된 데이터로 학습 효율성을 높이는 것이 포함됩니다. 본 논문에서는 고정된 B-spline 공간 내에서 깊이 영상 기반 모방 학습을 수행하는 샘플 효율적인 확산 기반 로컬 플래너인 SanD-Planner를 제안합니다. 이 컴팩트한 공간 내에서 작동함으로써 제안된 알고리즘은 본질적으로 로컬 지원에 대한 제한된 예측 오류가 있는 부드러운 출력을 생성하고 자연스럽게 후퇴 수평 실행과 일치합니다. 명시적인 정리 및 완료 시간 측정 기준과 ESDF 기반 안전 검사기를 통합하면 타당성 평가를 위한 가치 기능 학습과 관련된 교육 부담이 더욱 줄어듭니다. 실험에 따르면 500개의 에피소드(기준에서 사용된 데모 규모의 0.25%에 불과)로 훈련한 SanD-Planner는 평가된 공개 벤치마크에서 최첨단 성능을 달성하여 복잡한 시뮬레이션 환경에서 90.1%, 실내 시뮬레이션에서 72.0%의 성공률을 달성했습니다. 2D 및 3D 장면 모두에서 사실적인 실험으로 제로샷 전환성을 입증함으로써 성능이 더욱 입증되었습니다. 데이터 세트와 사전 훈련된 모델도 오픈 소스로 제공됩니다.

The challenge of generating reliable local plans has long hindered practical applications in highly cluttered and dynamic environments. Key fundamental bottlenecks include acquiring large-scale expert demonstrations across diverse scenes and improving learning efficiency with limited data. This paper proposes SanD-Planner, a sample-efficient diffusion-based local planner that conducts depth image-based imitation learning within the clamped B-spline space. By operating within this compact space, the proposed algorithm inherently yields smooth outputs with bounded prediction errors over local supports, naturally aligning with receding-horizon execution. Integration of an ESDF-based safety checker with explicit clearance and time-to-completion metrics further reduces the training burden associated with value-function learning for feasibility assessment. Experiments show that training with 500 episodes (merely 0.25% of the demonstration scale used by the baseline), SanD-Planner achieves state-of-the-art performance on the evaluated open benchmark, attaining success rates of 90.1% in simulated cluttered environments and 72.0% in indoor simulations. The performance is further proven by demonstrating zero-shot transferability to realistic experimentation in both 2D and 3D scenes. The dataset and pre-trained models will also be open-sourced.

오프로드 환경에서의 횡단성 분석은 모바일 로봇의 근본적인 과제로 남아 있습니다. 주요 어려움에는 다중 모드 센서 데이터로부터 정확하고 표현력이 풍부한 로컬 지도를 구성하고 지도를 사용하여 바람직한 탐색 동작을 생성하는 횡단 가능성 규칙을 설계하는 것이 포함됩니다. 중요한 것은 이 시스템이 복잡한 환경과 고속으로 인해 발생하는 제한된 감지 체제에 탄력적이어야 한다는 것입니다. 본 논문에서는 오프로드 환경에서 고속 내비게이션에 적합한 횡단 시스템인 TravSUITE를 제시합니다. TravSUITE는 두 가지 주요 구성 요소로 구성됩니다. 1) 온보드 센서 데이터 스트림에서 풍부한 기하학적 의미 로컬 맵을 구축하는 VFM 기반 복셀 매퍼, 2) 기하학, 의미, 속도 및 비용을 포함하여 조감도(BEV)에서 횡단 가능성 관련 수량을 공동으로 예측하는 통합 신경망. 우리의 훈련 전략은 지도 표현과 탐색 가능성을 모두 학습하기 위해 지도 인페인팅 및 역 강화 학습(IRL)과 같은 작업을 활용하여 주석이 전혀 없고 자체 감독됩니다. 우리는 또한 철저한 절제 연구 및 최첨단 접근 방식과의 비교를 수행하며, 그 결과 비용 학습과 보조 재도색이 각각 계획 품질에 크게 기여하고 이들의 조합이 경로 계획에서 최첨단 성능을 달성하는 데 중요하다는 것을 나타냅니다. 또한 배포 시 방법의 불확실성 추정을 활용하기 위해 간단한 위험 적응 메커니즘을 설계하고 인페인팅과 위험 추정을 결합하면 실제 하드웨어 실험에서 탐색 오류가 80% 감소하고 자동 탐색 속도가 5% 더 빨라질 수 있음을 보여줍니다.

Traversability analysis in off-road settings remains a fundamental challenge for mobile robots. Key difficulties include constructing an accurate, expressive local map from multi-modal sensor data and using the map to design traversability rules that yield desirable navigation behavior. Importantly, this system must be resilient to the limited sensing regime brought about by complex environments and high speeds. In this paper, we present TravSUITE, a traversability system suitable for high- speed navigation in off-road environments. TravSUITE consists of two major components: 1) a VFM-based voxel mapper that builds a rich geometric-semantic local map from streams of on-board sensor data, and 2) a unified neural network that jointly pre- dicts traversability-relevant quantities in bird’s eye view (BEV), including geometry, semantics, speed and cost. Our training strategy is entirely annotation-free and self-supervised, leveraging tasks such as map inpainting and inverse reinforcement learning (IRL) to learn both map representations and traversability. We also perform a thorough ablation study and comparison to state- of-the-art approaches, and the results indicate that cost learning and auxiliary inpainting each contribute significantly to planning quality, and their combination is critical for achieving state-of- the-art performance in path planning. We also design a simple risk adaptation mechanism to leverage our method’s uncertainty estimates at deploy-time, and demonstrate that a combination of inpainting and risk estimation can result in 80% fewer navigation errors and 5% faster autonomous traversal speeds in real-world hardware experiments.

로봇을 일상 환경에 통합하려면 3D 장면 컨텍스트에서 인간에 대한 강력하고 정확한 인식이 필수적입니다. 그러나 기존 접근 방식은 특히 폐색이 심하거나 부분적인 가시성이 있는 경우 주변 장면과 일치하는 타당하고 정확한 인간 동작 추정을 예측하지 못하는 경우가 많습니다. 이는 로봇 작동의 안전성과 효율성을 모두 제한할 수 있습니다. 3D 장면 컨텍스트에 따라 인간 동작 추적 및 예측을 통합하는 잠재 확산 모델인 HumanFlow를 소개합니다. 우리는 인간의 모션 모델이 심한 폐색을 포함한 까다로운 조건에서 부드럽고 정확한 예측을 생성하고 훨씬 더 효율적이면서도 정확도 추적에 있어 최첨단 방법보다 뛰어난 성능을 발휘한다는 것을 보여줍니다. 또한 이러한 표현에 대한 흐름 일치 기반의 대략적인 MPC 정책을 조건화하여 HumanFlow의 잠재 공간이 제어와 긴밀하게 결합될 수 있는 방법을 보여줍니다. 우리는 MAV 소셜 내비게이션을 위한 실제 인간 궤적을 사용하여 시뮬레이션을 통해 정책을 검증하여 인간이 부분적으로 관찰 가능한 경우에도 뛰어난 내비게이션 성능과 충돌 없는 상태를 유지합니다. 코드는 수락 시 공개적으로 제공됩니다.

Robust and accurate perception of humans in their 3D scene context is essential for integrating robots into everyday environments. Existing approaches, however, often fail to predict plausible and accurate human motion estimates that are consistent with the surrounding scene, especially in the presence of heavy occlusions or partial visibility. This can limit both safety and efficiency for robotic operations. We introduce HumanFlow, a latent diffusion model that unifies human motion tracking and forecasting, conditioned on the 3D scene context. We show that our human motion model produces smooth and accurate predictions under challenging conditions, including heavy occlusions, and outperforms state-of-the-art methods in tracking accuracy while being significantly more efficient. Furthermore, we show how HumanFlow’s latent space can be tightly coupled with control by conditioning a flow-matching-based, approximate MPC policy on these representations. We validate our policy in simulation with real human trajectories for MAV social navigation, demonstrating superior navigation performance and remaining collision-free, even under partial observability of the human. The code will be made publicly available upon acceptance.

VLA(비전-언어-작업) 모델은 광범위한 개방형 일반화를 가능하게 하지만 크고 다양한 데이터 세트가 필요합니다. 이 데이터 중 일부가 다양한 실제 상황을 다루고 쉽게 얻을 수 있는 인간 비디오에서 나올 수 있는지 고려하는 것은 매력적입니다. 그러나 인간의 비디오만으로 VLA를 훈련시키는 것은 어렵고 인간과 로봇 사이의 매핑을 설정하려면 수동 엔지니어링이 필요하며 주요 연구 과제를 제시합니다. 다양한 감독으로부터 학습할 수 있는 능력이 규모에 따라 나타나는 대규모 언어 모델의 발전에서 영감을 얻어 인간 비디오 데이터를 통합하는 VLA에도 유사한 현상이 나타나는지 묻습니다. 우리는 간단한 공동 훈련 방법을 소개하고 VLA가 충분한 장면, 작업 및 구현에 대해 사전 훈련되면 인간에서 로봇으로의 전송이 나타난다는 것을 발견했습니다. 우리의 분석은 다양한 사전 훈련이 인간과 로봇 데이터에 대한 구현에 구애받지 않는 표현을 생성하기 때문에 이러한 창발적 기능이 발생한다는 것을 시사합니다. 우리는 인간과 로봇 간의 기술 이전을 조사하는 일련의 실험을 통해 이러한 결과를 검증하고 충분히 다양한 로봇 사전 훈련을 통해 우리 방법이 인간 데이터에서만 볼 수 있는 일반화 설정의 성능을 거의 두 배로 늘릴 수 있음을 발견했습니다.

Vision-language-action (VLA) models can enable broad open world generalization, but require large and diverse datasets. It is appealing to consider whether some of this data can come from human videos, which cover diverse real-world situations and are easy to obtain. However, it is difficult to train VLAs with human videos alone, and establishing a mapping between humans and robots requires manual engineering and presents a major research challenge. Drawing inspiration from advances in large language models, where the ability to learn from diverse supervision emerges with scale, we ask whether a similar phenomenon holds for VLAs that incorporate human video data. We introduce a simple co-training recipe, and find that human-to-robot transfer emerges once the VLA is pre-trained on sufficient scenes, tasks, and embodiments. Our analysis suggests that this emergent capability arises because diverse pretraining produces embodiment-agnostic representations for human and robot data. We validate these findings through a series of experiments probing human to robot skill transfer and find that with sufficiently diverse robot pre-training our method can nearly double the performance on generalization settings seen only in human data.

VLA(Vision-Language-Action) 모델은 사전 훈련된 대규모 비전 언어 백본을 활용하여 범용 로봇 조작에 대한 강력한 잠재력을 보여주었습니다. 그러나 대부분의 기존 VLA는 주로 2D 시각적 표현에 의존하므로 세밀한 기하학 및 공간 기반에 대해 추론하는 능력이 제한됩니다. 이는 3D 환경에서 정확하고 강력한 조작에 필수적인 기능입니다. 본 논문에서는 계층적 3D 포인트 클라우드 표현을 동작 디코딩 프로세스에 직접 통합하는 이중 시스템 3D 인식 VLA 정책인 PointACT를 제안합니다. PointACT는 효율적인 병목 현상 창 자체 주의 기능을 갖춘 다중 규모 포인트 작업 상호 작용 메커니즘을 사용하여 진화하는 작업 토큰이 로컬 기하학적 세부 사항과 전역 장면 구조 모두에 조밀하게 참여할 수 있도록 합니다. 우리는 LIBERO 및 RLBench 벤치마크에서 PointACT를 평가하고 이를 포인트 클라우드 입력으로 강화된 변형을 포함하여 모놀리식 및 이중 시스템 VLA 기준과 체계적으로 비교합니다. PointACT는 두 벤치마크 모두에서 일관된 개선을 달성하여 최첨단 사전 훈련된 VLA에 비해 까다로운 RLBench-10Tasks 제품군에서 성공률을 10% 높였으며, 비전 언어 백본이 고정되고 작업 전문가가 처음부터 훈련되면 훨씬 더 큰 이득을 얻습니다. 광범위한 절제 연구는 계층적 3D 형상과 미리 훈련된 2D 의미론적 표현을 긴밀하게 결합하는 것이 견고하고 공간적으로 기반이 있는 로봇 제어에 중요하다는 것을 보여줍니다. 우리의 결과는 또한 3D 인식 VLA 정책에 대해 사전 훈련된 3D 표현의 가능성을 강조합니다.

Vision–Language–Action (VLA) models have shown strong potential for general-purpose robotic manipulation by leveraging large pretrained vision-language backbones. However, most existing VLAs rely primarily on 2D visual representations, which limits their ability to reason about fine-grained geometry and spatial grounding - capabilities that are essential for precise and robust manipulation in 3D environments. In this paper, we propose PointACT, a dual-system 3D-aware VLA policy that integrates hierarchical 3D point cloud representations directly into the action decoding process. PointACT employs a multi-scale point-action interaction mechanism with efficient bottleneck window self-attention, enabling evolving action tokens to densely attend to both local geometric detail and global scene structure. We evaluate PointACT on the LIBERO and RLBench benchmarks and systematically compare it against monolithic and dual-system VLA baselines, including variants augmented with point cloud inputs. PointACT achieves consistent improvements across both benchmarks, increasing success rates by 10% on the challenging RLBench-10Tasks suite over state-of-the-art pretrained VLAs, with even larger gains when the vision–language backbone is frozen and the action expert is trained from scratch. Extensive ablation studies demonstrate that tightly coupling hierarchical 3D geometry with pretrained 2D semantic representations is critical for robust and spatially grounded robot control. Our results also highlight the promise of pretrained 3D representations for 3D-aware VLA policies.

사전 훈련된 비전 언어 모델(VLM)은 다양한 설정에서 의미론적 및 시각적 추론을 수행하여 로봇 제어에 대한 귀중한 상식 사전 정보를 제공할 수 있습니다. 그러나 로봇 행동에 대한 이러한 지식을 효과적으로 기반으로 삼는 것은 아직 해결되지 않은 과제로 남아 있습니다. 이전 방법에서는 VLM이 별도의 하위 수준 정책(예: VLA(비전-언어-작업 모델))에 의해 실행될 상위 수준 명령을 추론하는 계층적 접근 방식을 사용하는 경우가 많습니다. VLM과 VLA 사이의 인터페이스는 일반적으로 자연어 작업 지침이며, 이는 기본적으로 VLM 추론이 하위 수준 동작을 조종할 수 있는 정도를 제한합니다. 따라서 조정 가능한 정책을 소개합니다. 하위 작업, 동작 및 기본 픽셀 좌표와 같은 다양한 추상화 수준에서 풍부한 합성 명령에 대해 훈련된 VLA입니다. Steerable Policies는 낮은 수준의 제어 가능성을 개선함으로써 VLM에서 사전 훈련된 지식을 잠금 해제하여 향상된 작업 일반화를 가능하게 합니다. 우리는 학습된 높은 수준의 구체화된 추론기와 기성 VLM을 사용하여 상황 내 학습을 통해 명령 추상화에 대한 추론을 유도하는 조종 가능 정책을 제어함으로써 이러한 이점을 입증합니다. 광범위한 실제 조작 실험에서 이 두 가지 새로운 방법은 까다로운 일반화 및 장거리 작업을 포함하여 이전에 구현된 추론 VLA 및 VLM 기반 계층적 기준보다 성능이 뛰어납니다.

Pretrained vision-language models (VLMs) can make semantic and visual inferences across diverse settings, providing valuable common-sense priors for robotic control. However, effectively grounding this knowledge in robot behaviors remains an open challenge. Prior methods often employ a hierarchical approach where VLMs reason over high-level commands to be executed by separate low-level policies, e.g., vision-language-action models (VLAs). The interface between VLMs and VLAs is usually natural language task instructions, which fundamentally limits how much VLM reasoning can steer low-level behavior. We thus introduce Steerable Policies: VLAs trained on rich synthetic commands at various levels of abstraction, like subtasks, motions, and grounded pixel coordinates. By improving low-level controllability, Steerable Policies can unlock pretrained knowledge in VLMs, enabling improved task generalization. We demonstrate this benefit by controlling our Steerable Policies with both a learned high-level embodied reasoner and an off-the-shelf VLM prompted to reason over command abstractions via in-context learning. Across extensive real-world manipulation experiments, these two novel methods outperform prior embodied reasoning VLAs and VLM-based hierarchical baselines, including on challenging generalization and long-horizon tasks.

자동 회귀 정책은 이산적 추상화, 토큰 수준 추론 및 유연한 추론을 지원하여 확장 가능한 로봇 학습을 위한 강력한 기반을 제공합니다. 그러나 연속적인 로봇 동작에 자동회귀 모델링을 적용하려면 효과적인 동작 토큰화 방식이 필요합니다. 기존 접근 방식은 엄청나게 긴 토큰 시퀀스를 생성하는 분석적 이산화 방법이나 구조가 부족한 학습된 잠재 토크나이저에 의존하여 다음 토큰 예측과의 호환성을 제한합니다. 이 작업에서 우리는 높은 압축률, 전체 디코딩 가능성, 왼쪽에서 오른쪽으로 정렬된 토큰 공간 등 액션 토큰화에 대한 세 가지 요구 사항을 식별하고 세 가지를 모두 충족하는 학습된 액션 토큰화 도구인 Ordered Action Tokenization(\textcolor{Maroon}{\textbf{\texttt{OAT}}})을 소개합니다. \textcolor{Maroon}{\textbf{\texttt{OAT}}}는 레지스터가 있는 변환기, 유한 스칼라 양자화 및 순서 유도 훈련 메커니즘을 사용하여 작업 청크를 순서가 지정된 토큰 시퀀스로 분리합니다. 결과 토큰 공간은 자동 회귀 생성과 자연스럽게 일치하며 접두사 기반 토큰화를 활성화하여 추론 비용과 작업 충실도 사이에서 언제든지 균형을 이룰 수 있습니다. 4개의 시뮬레이션 벤치마크와 실제 설정을 포괄하는 20개 이상의 작업에서 \textcolor{Maroon}{\textbf{\texttt{OAT}}}를 갖춘 자동 회귀 정책은 이전 토큰화 방식과 확산 기반 기준보다 일관되게 뛰어난 성능을 발휘하는 동시에 추론 시 훨씬 더 큰 유연성을 제공합니다.

Autoregressive policies offer a compelling foundation for scalable robot learning by enabling discrete abstraction, token-level reasoning, and flexible inference. However, applying autoregressive modeling to continuous robot actions requires an effective action tokenization scheme. Existing approaches either rely on analytical discretization methods that produce prohibitively long token sequences, or learned latent tokenizers that lack structure, limiting their compatibility with next-token prediction. In this work, we identify three desiderata for action tokenization — high compression, total decodability, and a left-to-right causally ordered token space — and introduce Ordered Action Tokenization (\textcolor{Maroon}{\textbf{\texttt{OAT}}}), a learned action tokenizer that satisfies all three. \textcolor{Maroon}{\textbf{\texttt{OAT}}} discretizes action chunks into an ordered sequence of tokens using transformer with registers, finite scalar quantization, and ordering-inducing training mechanisms. The resulting token space aligns naturally with autoregressive generation and enables prefix-based detokenization, yielding an anytime trade-off between inference cost and action fidelity. Across more than 20 tasks spanning four simulation benchmarks and real-world settings, autoregressive policies equipped with \textcolor{Maroon}{\textbf{\texttt{OAT}}} consistently outperform prior tokenization schemes and diffusion-based baselines, while offering significantly greater flexibility at inference time.

일반 로봇 조작 정책은 점점 더 강력해지고 있지만 평가에서는 소수의 하드웨어 출시로 제한됩니다. 실제 테스트에서 이러한 강력한 리소스 제약으로 인해 현장에서 모델 기능과 벤치마크 진행 상황을 적절하게 평가하려면 보다 유익한 성능 측정과 신뢰할 수 있고 효율적인 평가 절차가 모두 필요합니다. 이 작업은 샘플 효율적이고 통계적으로 엄격하며 실제로 사용되는 광범위한 평가 지표에 적용 가능한 로봇 정책 비교를 위한 새로운 프레임워크를 제시합니다. SAVI(안전하고 언제든지 유효한 추론)를 기반으로 하는 테스트 절차는 순차적이므로 사전 지정된 신뢰 수준에서 결정을 내릴 수 있을 만큼 충분한 통계적 증거가 축적되면 평가자가 조기에 중단할 수 있습니다. 이진 성공을 위해 개발된 이전 작업과 달리, 우리의 통합 접근 방식은 이산 부분 점수 작업 진행부터 일시적인 보상 또는 궤적 평활성의 지속적인 측정에 이르기까지 매개변수적 및 비모수적 비교 문제에 걸쳐 광범위한 정보 측정항목을 다룹니다. 시뮬레이션 및 실제 평가 데이터에 대한 광범위한 검증을 통해 우리는 표준 배치 방법에 비해 평가 부담이 최대 70% 감소하고 통계적 엄밀함을 잃지 않고 이진 결과를 위해 설계된 최첨단 순차 절차에 비해 최대 50% 감소함을 보여줍니다. 특히, 우리의 경험적 결과는 바이너리 성공 지표보다 세분화된 작업 진행을 사용할 때 경쟁 정책을 더 빠르게 분리할 수 있음을 보여줍니다.

Generalist robot manipulation policies are becoming increasingly capable, but are limited in evaluation to a small number of hardware rollouts. This strong resource constraint in real-world testing necessitates both more informative performance measures and reliable and efficient evaluation procedures to properly assess model capabilities and benchmark progress in the field. This work presents a novel framework for robot policy comparison that is sample-efficient, statistically rigorous, and applicable to a broad set of evaluation metrics used in practice. Based on safe, anytime-valid inference (SAVI), our test procedure is sequential, allowing the evaluator to stop early when sufficient statistical evidence has accumulated to reach a decision at a pre-specified level of confidence. Unlike previous work developed for binary success, our unified approach addresses a wide range of informative metrics: from discrete partial credit task progress to continuous measures of episodic reward or trajectory smoothness, spanning both parametric and nonparametric comparison problems. Through extensive validation on simulated and real-world evaluation data, we demonstrate up to 70% reduction in evaluation burden compared to standard batch methods and up to 50% reduction compared to state-of-the-art sequential procedures designed for binary outcomes, with no loss of statistical rigor. Notably, our empirical results show that competing policies can be separated more quickly when using fine-grained task progress than binary success metrics.

로봇 조작을 위한 널리 사용되는 VLA(Vision-Language-Action Model)는 대규모이지만 연결이 끊어진 정적 웹 데이터에 대해 사전 훈련된 비전 언어 백본을 기반으로 구축되었습니다. 결과적으로 향상된 의미론적 일반화에도 불구하고 정책은 로봇 궤적에서만 복잡한 물리적 역학과 시간적 종속성을 암묵적으로 추론해야 합니다. 이러한 의존은 지속 불가능한 데이터 부담을 야기하며, 타고난 물리적 이해 부족을 보완하기 위해 지속적이고 대규모의 전문가 데이터 수집이 필요합니다. 우리는 비전 언어 사전 훈련이 의미론적 사전 학습을 효과적으로 포착하지만 물리적 인과 관계에 대해서는 여전히 눈이 멀다고 주장합니다. 보다 효과적인 패러다임은 비디오를 활용하여 사전 훈련 중에 의미론과 시각적 역학을 공동으로 캡처함으로써 나머지 하위 수준 제어 작업을 격리합니다. 이를 위해 사전 훈련된 인터넷 규모 비디오 모델과 잠재 표현에 따라 조정된 흐름 일치 기반 액션 디코더를 결합하는 새로운 VAM(비디오 액션 모델)인 Mimic-Video를 소개합니다. 디코더는 IDM(역역학 모델) 역할을 하며 비디오 공간 작업 계획의 잠재 표현에서 낮은 수준의 로봇 작업을 생성합니다. 우리의 광범위한 평가에 따르면 우리의 접근 방식은 시뮬레이션 및 실제 로봇 조작 작업에서 최첨단 성능을 달성하여 기존 VLA 아키텍처에 비해 샘플 효율성을 10배, 수렴 속도를 2배 향상시키는 것으로 나타났습니다.

Prevailing Vision-Language-Action Models (VLAs) for robotic manipulation are built upon vision-language backbones pretrained on large-scale, but disconnected static web data. As a result, despite improved semantic generalization, the policy must implicitly infer complex physical dynamics and temporal dependencies solely from robot trajectories. This reliance creates an unsustainable data burden, necessitating continuous, large-scale expert data collection to compensate for the lack of innate physical understanding. We contend that while vision-language pretraining effectively captures semantic priors, it remains blind to physical causality. A more effective paradigm leverages video to jointly capture semantics and visual dynamics during pretraining, thereby isolating the remaining task of low-level control. To this end, we introduce mimic-video, a novel Video-Action Model (VAM) that pairs a pretrained Internet-scale video model with a flow matching-based action decoder conditioned on its latent representations. The decoder serves as an Inverse Dynamics Model (IDM), generating low-level robot actions from the latent representation of video-space action plans. Our extensive evaluation shows that our approach achieves state-of-the-art performance on simulated and real-world robotic manipulation tasks, improving sample efficiency by 10x and convergence speed by 2x compared to traditional VLA architectures.

세밀하고 접촉이 많은 조작은 촉각 피드백의 활용도가 낮기 때문에 로봇에게는 여전히 어려운 일입니다. 이 문제를 해결하기 위해 저차원 작업 공간 내에서 양식을 융합하는 새로운 정책 간 시각-촉각 융합 패러다임인 TouchGuide를 소개합니다. 특히 TouchGuide는 추론 시 사전 훈련된 확산 또는 흐름 일치 시각 운동 정책을 안내하기 위해 두 단계로 작동합니다. 첫째, 정책은 초기 샘플링 중에 시각적 입력만을 사용하여 대략적이고 시각적으로 그럴듯한 작업을 생성합니다. 둘째, 작업별 접촉 물리적 모델(CPM)은 작업을 조정하고 개선하기 위한 터치 지침을 제공하여 실제 물리적 접촉 조건에 맞게 조정되도록 합니다. 제한된 전문가 시연에 대한 대조 학습을 통해 훈련된 CPM은 촉각 정보에 기반한 타당성 점수를 제공하여 물리적 접촉 제약 조건을 충족하는 세련된 작업을 향해 샘플링 프로세스를 조정합니다. 또한, 고품질의 비용 효율적인 데이터로 TouchGuide 교육을 촉진하기 위해 데이터 수집 시스템인 TacUMI를 도입합니다. TacUMI는 정밀도와 경제성 사이에서 유리한 절충안을 달성합니다. 단단한 손가락 끝을 활용하여 직접적인 촉각 피드백을 얻어 신뢰할 수 있는 촉각 데이터를 수집할 수 있습니다. 신발 끈 묶기, 칩 전달 등 접촉이 많은 5가지 까다로운 작업에 대한 광범위한 실험을 통해 TouchGuide가 최첨단 시각 촉각 정책보다 일관되고 훨씬 뛰어난 성능을 발휘하는 것으로 나타났습니다.

Fine-grained and contact-rich manipulation remain challenging for robots, largely due to the underutilization of tactile feedback. To address this, we introduce TouchGuide, a novel cross-policy visuo-tactile fusion paradigm that fuses modalities within a low-dimensional action space. Specifically, TouchGuide operates in two stages to guide a pre-trained diffusion or flow-matching visuomotor policy at inference time. First, the policy produces a coarse, visually-plausible action using only visual inputs during early sampling. Second, a task-specific Contact Physical Model (CPM) provides touch guidance to steer and refine the action, ensuring it aligns with realistic physical contact conditions. Trained through contrastive learning on limited expert demonstrations, the CPM provides a tactile-informed feasibility score to steer the sampling process toward refined actions that satisfy physical contact constraints. Furthermore, to facilitate TouchGuide training with high-quality and cost-effective data, we introduce TacUMI, a data collection system. TacUMI achieves a favorable trade-off between precision and affordability; by leveraging rigid fingertips, it obtains direct tactile feedback, thereby enabling the collection of reliable tactile data. Extensive experiments on five challenging contact-rich tasks, such as shoe lacing and chip handover, show that TouchGuide consistently and significantly outperforms state-of-the-art visuo-tactile policies.

현실 세계에 배치된 로봇은 경험을 통해 학습하고 시간이 지남에 따라 개선되어야 합니다. 이를 위해서는 피드백을 통해 연습하고 학습하는 메커니즘이 필요합니다. 본 논문에서는 자율적인 정책 개선을 위한 일반 로봇 정책을 위한 생성자-검증자 프레임워크를 제안합니다. 우리는 사전 훈련된 정책을 "생성기"로 사용하고 이를 추론 시 작업을 평가하고 선택하는 그라데이션 없는 "시각적 검증기"와 결합합니다. 이 프레임워크는 추가 교육 없이 실제 성능을 향상시키는 추론 시간 조정을 가능하게 합니다. SIMPLER 시뮬레이션과 실제 DROID 설정 전반에 걸쳐 추론 시간 검증이 기본 실행보다 정책 성능을 일관되게 향상시키고 이러한 이점이 VLM 기반 및 휴리스틱을 포함한 다양한 검증기 선택에서 유지된다는 것을 보여줍니다. 것들. 추론 시간 조정 외에도 우리는 검증된 롤아웃이 오프라인 정책 개선을 위한 효과적인 감독을 제공한다는 것을 보여줍니다. 자율적으로 검증된 데이터에 대해 미세 조정된 정책은 가파른 성능 향상을 달성하고 검증된 데모가 더 많이 수집됨에 따라 성능이 지속적으로 향상됩니다. 특히, 검증된 롤아웃을 통한 사후 교육은 인간의 개입이 필요하지 않으면서 인간 전문가 시연의 효율성과 일치한다는 것을 발견했습니다. 우리의 결과는 자율 배포 중 로봇 정책을 개선하기 위한 실용적이고 확장 가능한 메커니즘으로서 테스트 시간 검증을 강조합니다.

Robots deployed in the real world must learn from their experience and improve over time. This requires a mechanism of practicing and learning from feedback. In this paper, we propose a generator–verifier framework for generalist robot policies for autonomous policy improvement. We use a pre-trained policy as a “generator’’ and pair it with a gradient-free “visual verifier” that evaluates and selects actions at inference time. This framework enables inference-time steering that improves real-world performance without additional training. Across SIMPLER simulation and real-world DROID setups, we show that inference-time verification consistently improves policy performance over na"ive execution, and that these gains hold across different choices of verifiers, including VLM-based and heuristic ones. Beyond inference-time steering, we demonstrate that verified rollouts provide effective supervision for offline policy improvement: policies fine-tuned on autonomously verified data achieve steep performance gains, with performance continuing to improve as more verified demonstrations are collected. Notably, we find that post-training with verified rollouts matches the efficiency of human expert demonstrations, while requiring no human interventions. Our results highlight test-time verification as a practical and scalable mechanism for improving robotic policies during autonomous deployment.

확산 정책은 최근 로봇 조작을 위한 강력한 프레임워크로 등장했습니다. 그러나 다른 동작 복제 방법과 마찬가지로 배포 변화에 여전히 취약하며 배포 중 오류를 수정하기 위해 인간 개입이 필요한 경우가 많습니다. 이러한 상호 작용은 자연스럽게 로봇의 원치 않는 행동과 인간 교사의 시정 조치 형태로 쌍을 이루는 감독을 제공합니다. 그러나 기존 데이터 수집 파이프라인과 표준 행동 복제 손실은 바람직하지 않은 행동으로 인한 부정적인 신호를 대부분 무시하여 교사의 행동에 과적합을 초래하고 비용이 많이 드는 전문가 데이터에 대한 의존도를 증가시킵니다. 이러한 한계를 해결하기 위해 우리는 대조적인 액션 청크 데이터를 활용하여 인간 교정의 확산 정책을 훈련하는 새로운 학습 프레임워크인 Set-Supervised Diffusion Policy(SDP)를 제안합니다. 쌍을 이루는 긍정적이고 부정적인 작업 청크에서 SDP는 원하는 작업 청크 세트를 구성하고 확산 정책이 세트와 일치하도록 장려하는 훈련 파이프라인을 설계합니다. 여러 로봇 조작 작업에 대한 광범위한 실험을 통해 SDP가 지속적으로 정책 성능을 향상시키고 특히 시끄러운 데이터에 대한 견고성이 크게 향상됨을 보여줍니다. 또한 SDP는 고품질 집계 데이터 세트를 유도하여 인간 개입 수정을 통해 보다 효율적이고 안정적인 정책 학습을 가능하게 합니다. 우리의 코드는 https://set-supervised-diffusion-policy.github.io/에서 확인할 수 있습니다.

Diffusion policies have recently emerged as a powerful framework for robotic manipulation. However, like other behavior cloning methods, they remain vulnerable to distributional shift, often requiring human-in-the-loop interventions to correct failures during deployment. These interactions naturally provide paired supervision in the form of the robot’s undesired actions and the human teacher’s corrective actions. Yet existing data aggregation pipelines and standard behavior cloning losses largely ignore this negative signal from undesired actions, leading to overfitting to teacher’s actions and an increasing reliance on costly expert data. To address this limitation, we propose Set-Supervised Diffusion Policy (SDP), a novel learning framework that utilizes contrastive action-chunk data to train diffusion policies from human corrections. From paired positive and negative action-chunks, SDP constructs a set of desired action-chunks and designs a training pipeline that encourages the diffusion policy to align with the set. Through extensive experiments across multiple robotic manipulation tasks, we demonstrate that SDP consistently improves policy performance, with particularly strong gains in robustness to noisy data. Moreover, SDP induces high-quality aggregated datasets, enabling more efficient and reliable policy learning from human-in-the-loop corrections. Our code is available at https://set-supervised-diffusion-policy.github.io/.

교차 구현된 데이터에서 보편적인 정책을 학습하는 것은 로봇 공학의 근본적인 과제로 남아 있습니다. VLA(Vision-Language-Action) 모델은 크고 다양한 데이터세트에 대해 사전 훈련되어 있지만 일반적으로 다운스트림 작업에서 강력한 성능을 달성하기 위해 실시예별 미세 조정에 의존합니다. 이러한 요구 사항은 일반화 능력을 심각하게 제한하고 유사한 작업을 수행하는 실시예 간의 지식 전달을 제한합니다. 이러한 한계를 극복하기 위해 우리는 공유 로봇 베이스와 이종 엔드 이펙터를 갖춘 교차 구현 설정에 중점을 두고 통합 교차 구현 액션 헤드를 특징으로 하는 확산 기반 VLA 모델인 X-DiffVLA를 제안합니다. X-DiffVLA는 확산 모델의 생성적 강점을 활용하여 교차 구현 데이터세트의 다양성과 잠재 상관관계를 모두 포착할 수 있습니다. 구체적으로, 명시적인 감독 없이 세밀한 구조적 뉘앙스를 포착하여 실시예 관련 기능 구성 요소에 대한 작업 생성을 암시적으로 조종하는 분류자 없는 안내 기술인 실시예 강제(employment Forcing)를 소개합니다. 또한, 형태학적 트리 확산(Morphological Tree Diffusion) 접근 방식은 다양한 엔드 이펙터 간의 행동 상관 관계를 강화하여 이질적인 증명의 전달 가능성을 극대화하도록 설계되었습니다. 그리퍼부터 능숙한 손까지 다양한 구현을 다루는 RoboCasa와 Isaac Gym의 실험 결과에 따르면 X-DiffVLA는 각각 15.3%와 12.5%의 개선으로 최첨단 성능을 달성하는 것으로 나타났습니다. 실제 평가를 통해 제안된 프레임워크의 견고성과 확장 가능한 교차 구현 정책 학습의 효율성을 더욱 검증합니다.

Learning universal policies from cross-embodied data remains a fundamental challenge in robotics. Although Vision-Language-Action (VLA) models are pre-trained on large and diverse datasets, they typically rely on embodiment-specific fine-tuning to achieve strong performance in downstream tasks. This requirement severely limits their generalization capability and restricts knowledge transfer across embodiments performing similar tasks. To overcome these limitations, we focus on cross-embodied settings with shared robotic bases and heterogeneous end-effectors, and propose X-DiffVLA, a diffusion-based VLA model featuring a unified cross-embodied action head. X-DiffVLA can leverage the generative strengths of diffusion models to capture both the diversity and latent correlations in cross-embodied datasets. Specifically, we introduce Embodiment Forcing, a classifier-free guidance technique to implicitly steer action generation toward embodiment-specific functional components, capturing fine-grained structural nuances without explicit supervision. In addition, a Morphological Tree Diffusion approach is designed to strengthen behavioral correlations across diverse end-effectors, maximizing the transferability of heterogeneous demonstrations. Experimental results across RoboCasa and Isaac Gym, covering different embodiments from grippers to dexterous hands, show that X-DiffVLA achieves state-of-the-art performance, with improvements of 15.3% and 12.5%, respectively. Real-world evaluations further validate the robustness of the proposed framework and its effectiveness in scalable cross-embodied policy learning.

VLA(시각-언어-행동) 모델의 최근 발전은 이중 팔 조작에 대한 강력한 잠재력을 보여주어 보이지 않는 환경에 대한 복잡한 동작과 일반화가 가능합니다. 그러나 주류 양손 VLA 공식은 조합 다양성의 중요한 과제를 크게 간과합니다. 단일 팔 동작의 서로 다른 쌍은 질적으로 구별되는 작업 동작을 유도할 수 있지만 기존 모델은 이 구조를 명시적으로 설명하지 않습니다. 우리는 효과적인 양손 VLA가 기술 재사용(이전에 학습한 단일 팔 기술을 새로운 왼쪽-오른쪽 쌍으로 재결합하는 기능)을 지원하여 가능한 모든 조합을 별도로 학습할 필요가 없도록 해야 한다고 주장합니다. 현재 VLA 설계는 기술을 팔 전체에 얽혀서 재구성을 방지하고 확장성을 제한합니다. 이러한 제한 사항을 해결하기 위해 우리는 이중 팔 조작에서 기술을 재사용할 수 있도록 명시적으로 설계된 프레임워크인 SkillVLA를 제안합니다. 광범위한 실험을 통해 SkillVLA가 기술 구성을 크게 개선하여 전체 성공률을 0%에서 51%로 높이고 협동 및 장거리 작업에서 강력한 성능을 달성한다는 것을 보여줍니다.

Recent progress in vision–language–action (VLA) models has demonstrated strong potential for dual-arm manipulation, enabling complex behaviors and generalization to unseen environments. However, mainstream bimanual VLA formulations largely overlook the critical challenge of combinatorial diversity. Different pairings of single-arm behaviors can induce qualitatively distinct task behaviors, yet existing models do not explicitly account for this structure. We argue that effective bimanual VLAs should support skill reuse—the ability to recombine previously learned single-arm skills across novel left–right pairings—thereby avoiding the need to separately learn every possible combination. Current VLA designs entangle skills across arms, preventing such recomposition and limiting scalability. To address this limitation, we propose SkillVLA, a framework explicitly designed to enable skill reuse in dual-arm manipulation. Extensive experiments demonstrate that SkillVLA substantially improves skill composition, increasing overall success rate from 0% to 51%, and achieves strong performance on cooperative and long-horizon tasks.

작업에 대해 추론하고, 물리적 결과를 예측하고, 정확한 동작을 생성하는 능력을 갖춘 구체화된 에이전트를 갖추는 것은 범용 조작에 필수적입니다. 최근 VLA(Vision-Language-Action) 모델은 사전 훈련된 기본 모델을 활용했지만 일반적으로 언어 계획이나 시각적 예측에 별도로 중점을 둡니다. 이러한 방법은 작업 생성을 안내하기 위해 두 기능을 동시에 통합하는 경우가 거의 없으므로 복잡하고 장기적인 조작 작업에서 최적이 아닌 성능으로 이어집니다. 이러한 격차를 해소하기 위해 우리는 단일 프레임워크 내에서 언어 계획, 시각적 예측 및 행동 생성을 통합하는 통합 모델인 BagelVLA를 제안합니다. 사전 훈련된 통합 이해 및 생성 모델에서 초기화된 BagelVLA는 텍스트 추론과 시각적 예측을 작업 실행 루프에 직접 인터리브하도록 훈련되었습니다. 이러한 양식을 효율적으로 결합하기 위해 현재 관찰에서 초기화하고 단일 단계 노이즈 제거를 활용하여 예측 시각적 특징을 추출하고 최소한의 대기 시간으로 작업 생성을 안내하는 RFG(잔류 흐름 안내)를 도입합니다. 광범위한 실험을 통해 BagelVLA는 특히 다단계 추론이 필요한 작업에서 여러 시뮬레이션 및 실제 벤치마크에서 상당한 차이로 기존 기준을 능가하는 것으로 나타났습니다.

Equipping embodied agents with the ability to reason about tasks, foresee physical outcomes, and generate precise actions is essential for general-purpose manipulation. While recent Vision-Language-Action (VLA) models have leveraged pre-trained foundation models, they typically focus on either linguistic planning or visual forecasting in isolation. These methods rarely integrate both capabilities simultaneously to guide action generation, leading to suboptimal performance in complex, long-horizon manipulation tasks. To bridge this gap, we propose BagelVLA, a unified model that integrates linguistic planning, visual forecasting, and action generation within a single framework. Initialized from a pretrained unified understanding and generative model, BagelVLA is trained to interleave textual reasoning and visual prediction directly into the action execution loop. To efficiently couple these modalities, we introduce Residual Flow Guidance (RFG), which initializes from current observation and leverages single-step denoising to extract predictive visual features, guiding action generation with minimal latency. Extensive experiments demonstrate that BagelVLA outperforms existing baselines by a significant margin on multiple simulated and real-world benchmarks, particularly in tasks requiring multi-stage reasoning.

VLA(Vision-Language-Action) 모델은 강력한 VLM(Vision-Language Model) 내의 양식으로 동작을 정렬하여 일반적인 로봇 학습을 목표로 합니다. 기존 VLA는 작업 관련 기능을 학습하기 위해 작업 디코딩 프로세스를 암시적으로 활성화하기 위해 엔드투엔드 감독에 의존합니다. 그러나 명시적인 지침이 없으면 이러한 모델은 시각적 지름길이나 환경 소음과 같은 허위 상관 관계에 과도하게 적합하여 일반화가 제한되는 경우가 많습니다. 본 논문에서는 작업 관련 요소에 초점을 맞추기 위해 작업 생성을 수동으로 안내하도록 설계된 프레임워크인 GuidedVLA를 소개합니다. 우리의 핵심 통찰력은 액션 디코더를 모놀리식 학습자가 아닌 기능적 구성 요소의 어셈블리로 취급하는 것입니다. 개별 주의 헤드는 수동으로 정의된 보조 신호로 감독되어 뚜렷한 요인을 포착합니다. 초기 연구로서 우리는 객체 접지, 공간 기하학 및 시간 기술 논리라는 세 가지 특수 헤드를 사용하여 이 패러다임을 인스턴스화합니다. 시뮬레이션 및 실제 로봇 실험 전반에 걸쳐 GuidedVLA는 강력한 VLA 기준에 비해 도메인 내 및 도메인 외부 설정 모두에서 성공률을 향상시킵니다. 마지막으로, 우리는 이러한 특화된 요소의 품질이 작업 성능과 긍정적인 상관관계가 있으며 우리 메커니즘이 분리된 고품질 기능을 생성한다는 것을 보여줍니다. 우리의 결과는 액션 디코더에 대한 의사 결정 학습을 명시적으로 안내하는 것이 보다 강력하고 일반적인 VLA 모델을 구축하기 위한 유망한 방향임을 시사합니다.

Vision-Language-Action (VLA) models aim for general robot learning by aligning action as a modality within powerful Vision-Language Models (VLM). Existing VLAs rely on end-to-end supervision to implicitly enable the action decoding process to learn task-relevant features. However, without explicit guidance, these models often overfit to spurious correlations, such as visual shortcuts or environmental noise, limiting their generalization. In this paper, we introduce GuidedVLA, a framework designed to manually guide the action generation to focus on task-relevant factors. Our core insight is to treat the action decoder not as a monolithic learner, but as an assembly of functional components. Individual attention heads are supervised by manually defined auxiliary signals to capture distinct factors. As an initial study, we instantiate this paradigm with three specialized heads: object grounding, spatial geometry, and temporal skill logic. Across simulation and real-robot experiments, GuidedVLA improves success rates in both in-domain and out-of-domain settings compared to strong VLA baselines. Finally, we show that the quality of these specialized factors correlates positively with task performance and that our mechanism yields decoupled, high-quality features. Our results suggest that explicitly guiding the learning of decision making for action decoder is a promising direction for building more robust and general VLA models.

우리는 새로 고칠 수 있는 비전 언어 접두사를 조건으로 연속적인 인과 시퀀스로 동작을 생성하는 독립형 자동 회귀(AR) 동작 전문가를 제안합니다. 각각의 새로운 관찰로 시간적 맥락을 재설정하고 반응적으로 행동을 예측하는 기존 VLA(Vision-Language-Action) 모델 및 확산 정책과 달리, Action Expert는 수명이 긴 메모리를 통해 자체 기록을 유지하고 본질적으로 맥락을 인식합니다. 이 구조는 빠른 제어와 느린 추론 사이의 주파수 불일치를 해결하여 운동학적 구문의 효율적이고 독립적인 사전 훈련과 무거운 인식 백본과의 모듈식 통합을 가능하게 하며 자연스럽게 프레임 전반에 걸쳐 시공간적으로 일관된 동작 생성을 보장합니다. 이러한 비동기식 하이브리드 V-L-A 양식을 동기화하기 위해 훈련과 추론 모두에서 인식 부실을 수학적으로 설명하는 재정착 메커니즘을 활용합니다. 시뮬레이션 및 실제 로봇 조작 작업에 대한 실험은 제안된 방법이 전문가 및 일반 정책 모두에 대해 기존의 청크 기반 작업 헤드를 효과적으로 대체할 수 있음을 보여줍니다. AR-VLA는 최첨단 반응형 VLA의 작업 성공률을 유지하거나 초과하면서 뛰어난 기록 인식과 훨씬 더 부드러운 작업 궤적을 보여줍니다. 전반적으로 우리의 작업은 효과적인 로봇 정책을 교육하기 위한 강력한 구조적 기반을 제공하는 확장 가능하고 상황 인식 작업 생성 스키마를 도입합니다.

We propose a standalone autoregressive (AR) Action Expert that generates actions as a continuous causal sequence while conditioning on refreshable vision-language prefixes. In contrast to existing Vision-Language-Action (VLA) models and diffusion policies that reset temporal context with each new observation and predict actions reactively, our Action Expert maintains its own history through a long-lived memory and is inherently context-aware. This structure addresses the frequency mismatch between fast control and slow reasoning, enabling efficient independent pretraining of kinematic syntax and modular integration with heavy perception backbones, naturally ensuring spatio-temporally consistent action generation across frames. To synchronize these asynchronous hybrid V-L-A modalities, we utilize a re-anchoring mechanism that mathematically accounts for perception staleness during both training and inference. Experiments on simulated and real-robot manipulation tasks demonstrate that the proposed method can effectively replace traditional chunk-based action heads for both specialist and generalist policies. AR-VLA exhibits superior history awareness and substantially smoother action trajectories while maintaining or exceeding the task success rates of state-of-the-art reactive VLAs. Overall, our work introduces a scalable, context-aware action generation schema that provides a robust structural foundation for training effective robotic policies.

대규모의 다양한 데이터 세트에 대해 사전 훈련된 VLA 모델은 범용 로봇 정책으로서 강력한 일반화 및 적응성을 보여줍니다. 그러나 VLA를 다운스트림 도메인에 적용하기 위한 기본 메커니즘 역할을 하는 SFT(감독 미세 조정)에는 상당한 양의 작업별 데이터가 필요하며 치명적인 망각이 발생하기 쉽습니다. 이러한 제한 사항을 해결하기 위해 우리는 온라인 환경 피드백 및 사전 훈련된 보상 모델과 무관한 VLA 모델을 위한 간단하면서도 효과적인 Reinforcement Fine-Tuning(RFT) 전략인 LifeLong-RFT를 제안합니다. 청킹 수준의 정책 강화 학습을 제안된 MDPR(다차원 프로세스 보상) 메커니즘과 통합함으로써 LifeLong-RFT는 3차원에 걸쳐 중간 작업 청크의 이질적인 기여를 정량화하여 정책 최적화를 촉진합니다. 구체적으로, (1) QACR(Quantized Action Consistency Reward)은 개별 행동 공간 내에서 정확한 행동 예측을 보장합니다. (2) CTAR(Continuous Trajectory Alignment Reward)는 디코딩된 연속 동작 청크를 참조 궤적과 정렬하여 정확한 제어를 보장합니다. (3) FCR(형식 준수 보상)은 출력의 구조적 유효성을 보장합니다. SimplerEnv, LIBERO 및 실제 작업에 대한 포괄적인 실험은 LifeLong-RFT가 다중 작업 학습에서 강력한 성능을 나타냄을 보여줍니다. 또한 LIBERO 벤치마크에 대한 지속적인 학습을 위해 우리의 방법은 SFT에 비해 평균 성공률이 22% 증가하는 동시에 20%의 훈련 데이터만 사용하여 새로운 작업에 효과적으로 적응합니다. 전반적으로, 우리의 방법은 VLA에 대한 유망한 사후 교육 패러다임을 제공합니다.

Pretrained on large-scale and diverse datasets, VLA models demonstrate strong generalization and adaptability as general-purpose robotic policies. However, Supervised Fine-Tuning (SFT), which serves as the primary mechanism for adapting VLAs to downstream domains, requires substantial amounts of task-specific data and is prone to catastrophic forgetting. To address these limitations, we propose LifeLong-RFT, a simple yet effective Reinforcement Fine-Tuning (RFT) strategy for VLA models independent of online environmental feedback and pre-trained reward models. By integrating chunking-level on-policy reinforcement learning with the proposed Multi-Dimensional Process Reward (MDPR) mechanism, LifeLong-RFT quantifies the heterogeneous contributions of intermediate action chunks across three dimensions to facilitate policy optimization. Specifically, (1) the Quantized Action Consistency Reward (QACR) ensures accurate action prediction within the discrete action space; (2) the Continuous Trajectory Alignment Reward (CTAR) aligns decoded continuous action chunks with reference trajectories to ensure precise control; (3) the Format Compliance Reward (FCR) guarantees the structural validity of outputs. Comprehensive experiments across SimplerEnv, LIBERO, and real-world tasks demonstrate that LifeLong-RFT exhibits strong performance in multi-task learning. Furthermore, for continual learning on the LIBERO benchmark, our method achieves a 22% gain in average success rate over SFT, while effectively adapting to new tasks using only 20% of the training data. Overall, our method provides a promising post-training paradigm for VLAs.

VLA(비전-언어-행동) 모델은 범용 로봇을 향한 유망한 경로를 제공하지만 실제 배포에 필요한 신뢰성과 속도를 달성하는 것은 여전히 ​​어려운 일입니다. 우리는 실제 경험을 활용하여 VLA 정책의 효율성과 신뢰성을 향상시키는 RECAP(Advantage- Conditioned Policies)를 통한 경험 및 수정을 통한 범용 방법인 RL을 제시합니다. 우리의 방법은 훈련 전 및 훈련 후 단계 모두에서 가치 기반 이점 조절을 도입하여 VLA 정책이 인간 시연, 정책 롤아웃 및 온라인 수정 데이터를 포함하여 매우 이질적인 실제 경험을 수집할 수 있도록 합니다. 우리는 RECAP로 훈련된 π0.6* 모델이 실제 가정에서 다양한 세탁물을 접는 데 몇 시간 동안 배포할 수 있고, 공장에서 상자를 안정적으로 조립할 수 있으며, 전문 에스프레소 머신을 사용하여 에스프레소 음료를 만들 수 있음을 보여줍니다. 가장 어려운 작업 중 일부에서 RECAP은 작업 처리량을 두 배 이상 늘리고 작업 실패율을 대략 절반으로 줄입니다.

Vision–language–action (VLA) models offer a promising path toward general-purpose robots, but achieving the reliability and speed required for practical deployment remains challenging. We present a general-purpose method, RL with Experience and Corrections via Advantage-conditioned Policies (RECAP) that improves the efficiency and reliability of VLA policies by utilizing their real-world experience. Our method introduces value-based advantage conditioning during both pre-training and post-training phases, enabling VLA policies to ingest highly heterogeneous real-world experience, including human demonstrations, policy rollouts, and online correction data. We show that the π0.6* model, trained with RECAP, achieves hours-long deployment of folding diverse laundry in real homes, can reliably assemble boxes in a factory, and make espresso drinks using a professional espresso machine. On some of the hardest tasks, RECAP more than doubles task throughput and roughly halves the task failure rate.

VLA(Vision-Language-Action) 모델은 일반 조작에 탁월하지만 세부적인 공간 인식이 부족하고 관점 일반화에 어려움을 겪는 경우가 많습니다. 이러한 제한은 명시적인 기하학적 단서가 부족하고 기하학적 표현보다 의미론적 정렬을 우선시하는 사전 훈련된 RGB 인코더에 의존하기 때문에 발생합니다. 우리는 VLA 모델의 효과적인 시각적 표현이 의미론적 정보와 기하학적 정보를 공동으로 인코딩해야 한다고 주장합니다. 본 논문에서는 대규모 합성 스테레오 데이터의 풍부한 기하학적 단서를 통합한 최초의 VLA 모델인 StereoVLA를 소개합니다. StereoVLA는 정확한 공간 인식을 위해 미묘한 스테레오 뷰 차이에서 기하학적 단서를 추출하는 동시에 픽셀 관찰에서 의미론적 특징을 캡처하여 언어 조건 조작을 지원하는 GeoSem(기하학적 의미) 비전 인코더를 사용합니다. 또한 두 가지 시너지 효과가 있는 공동 훈련 목표, 즉 정확한 공간 추론을 위한 상호 작용 영역 깊이 추정과 인식 및 동작 좌표계를 암시적으로 정렬하는 카메라 매개 변수 추정을 소개합니다. 다양한 입력 양식을 사용하는 기준선과 비교하여 StereoVLA는 실제 실험에서 33.4% 개선을 달성하고 근반구형 카메라 관점에 대한 강력한 일반화를 보여줍니다.

While Vision-Language-Action (VLA) models excel in generalist manipulation, they often lack fine-grained spatial awareness and struggle with viewpoint generalization. This limitation largely stems from the reliance on pretrained RGB encoders, which lack explicit geometric cues and prioritize semantic alignment over geometric representation. We argue that effective visual representations for VLA models must jointly encode both semantic and geometric information. In this paper, we introduce StereoVLA, the first VLA model to incorporate rich geometric cues from large-scale synthetic stereo data. StereoVLA employs a Geometric-and-Semantic (GeoSem) vision encoder that extracts geometric cues from subtle stereo-view disparities for precise spatial perception, while simultaneously capturing semantic features from pixel observations to support language-conditioned manipulation. Additionally, we introduce two synergistic co-training objectives: Interaction-Region Depth Estimation for precise spatial reasoning, and Camera Parameter Estimation to implicitly align perception and action coordinate systems. Compared with baselines that employ various input modalities, StereoVLA achieves a 33.4% improvement in real-world experiments and demonstrates robust generalization to near-hemispheric camera perspectives.

VLA(비전-언어-행동) 모델의 최근 발전으로 인해 강화 학습(RL)이 상호 작용을 통해 작업 성공을 최적화하는 원칙적인 방법을 제공하는 구현된 설정으로 기능이 확장되었습니다. 그러나 기존 방법은 아키텍처와 알고리즘 간의 공정한 비교를 위한 통합 플랫폼과 확장 가능한 훈련을 위한 효율적인 시스템 설계가 모두 부족하여 여전히 단편화되어 있습니다. 이러한 과제를 해결하기 위해 우리는 VLA 모델의 확장 가능한 RL 훈련을 위한 통합되고 효율적인 프레임워크인 RLux-VLA를 소개합니다. RLux-VLA는 다양한 VLA 아키텍처, 다중 RL 알고리즘 및 이기종 시뮬레이터의 통합을 표준화하는 통합 인터페이스를 제공하여 확장성을 가능하게 함으로써 통일성을 달성합니다. 효율성을 보장하기 위해 시스템은 RL 파이프라인의 렌더링, 추론 및 교육 워크로드를 위한 유연한 리소스 할당 아키텍처를 채택합니다. 특히, GPU 병렬 시뮬레이터의 경우 RLux-VLA는 하이브리드 세분화된 파이프라인 할당 전략을 도입하여 1.61x~1.88x의 훈련 속도 향상을 제공합니다. 이 통합 시스템을 사용하여 RLux-VLA로 훈련된 모델은 LIBERO, ManiSkill 및 RoboTwin을 포함한 여러 시뮬레이션 벤치마크에서 약 20~85%의 일관된 성능 향상을 보여줍니다. 또한 효과적인 RL 기반 VLA 교육을 위한 일련의 교육 사례를 정리합니다. 우리는 RLux-VLA를 구체화된 지능에 대한 효율적이고 통합적이며 재현 가능한 연구를 가능하게 하는 기본 시스템으로 자리매김했습니다.

Recent advances in vision-language-action (VLA) models have motivated the extension of their capabilities to embodied settings, where reinforcement learning (RL) offers a principled way to optimize task success through interaction. However, existing methods remain fragmented, lacking both a unified platform for fair comparison across architectures and algorithms and an efficient system design for scalable training. To address these challenges, we introduce RLux-VLA, a unified and efficient framework for scalable RL training of VLA models. RLux-VLA achieves unification by providing a unified interface that standardizes the integration of diverse VLA architectures, multiple RL algorithms, and heterogeneous simulators, enabling extensibility. To ensure efficiency, the system adopts a flexible resource allocation architecture for rendering, inference, and training workloads in RL pipelines. In particular, for GPU-parallelized simulators, RLux-VLA introduces a hybrid fine-grained pipeline allocation strategy, yielding a 1.61x–1.88x training speedup. Using this unified system, models trained with RLux-VLA demonstrate consistent performance improvements of approximately 20–85% across multiple simulation benchmarks, including LIBERO, ManiSkill, and RoboTwin. Furthermore, we distill a set of training practices for effective RL-based VLA training. We position RLux-VLA as a foundational system to enable efficient, unified, and reproducible research in embodied intelligence.

본 논문에서는 물리적 실험에 대한 엄격한 제약 하에서 실제 행동을 정확하고 효율적으로 추정하는 방법에 초점을 맞춰 로봇 성능 평가 문제를 연구합니다. 이러한 추정은 알고리즘 벤치마킹, 설계 대안 비교, 컨트롤러 검증, 인증 또는 규제 의사 결정 지원에 필수적이지만 실제 로봇을 사용한 실제 테스트는 비용이 많이 들고 시간 소모적이며 안전이 제한되는 경우가 많습니다. 실제 실험의 희소성을 완화하기 위해 저비용 시뮬레이터를 사용하여 실제 실험에 대한 정보를 제공하거나 보완하거나 우선순위를 지정하는 시뮬레이션-실제 방법론이 일반적으로 사용됩니다. 분산 감소(예: 중요도 샘플링 변형) 또는 편향 수정(예: 예측 기반 추론 또는 학습된 제어 변형을 통해)에 대한 기존 접근 방식에서 출발(및 보완)하여 베팅이라는 렌즈를 통해 이 성능 평가 문제를 조사합니다. 우리는 베팅 메커니즘이 정확하고 효율적인 추정치를 산출할 수 있는 이론적 조건을 확립하고(확실히 몬테카를로 추정치를 능가함) 이러한 베팅이 어떻게 구성되어야 하는지를 특성화합니다. 우리는 이상적인 베팅에 대해 이론적으로 근거가 있으면서도 실질적으로 구현 가능한 근사치를 추가로 개발하고 이러한 근사치 베팅 전략이 의도한 대로 작동하는지 진단하는 구체적인 결정 규칙을 제공합니다. 우리는 합성 예제와 교차 충실도 계산 시뮬레이터를 모두 사용하여 제안된 방법의 효율성을 입증합니다. 특히, 우리는 합성 분포 그룹을 사용하여 로봇 조작기의 실제 선택 및 배치 정확도를 추론하는 예시적인 사례도 선보입니다. 이는 제안된 베팅 관점에서 자연스럽고 실현 가능해 보이는 색다른 시뮬레이션-실제 전송입니다. 경험적 결과를 재현하기 위한 프로그램은 https://github.com/ISUSAIL/Bet4Sim2Real에서 확인할 수 있습니다.

This paper studies the problem of robot performance evaluation, focusing on how to obtain accurate and efficient estimates of real-world behavior under severe constraints on physical experimentation. Such estimates are essential for benchmarking algorithms, comparing design alternatives, validating controllers, and supporting certification or regulatory decision-making, yet real-world testing with physical robots is often expensive, time-consuming, and safety-limited. To mitigate the scarcity of real-world trials, sim-to-real methodologies are commonly employed, using low-cost simulators to inform, supplement, or prioritize physical experiments. Departing from (and complementing to) existing approaches in variance reduction (e.g., importance-sampling variants) or bias-correction (e.g., through prediction-powered inference or learned control variates), we examine this performance-evaluation problem through the lens of betting. We establish theoretical conditions under which a betting mechanism can yield accurate and efficient estimates (provably outperforming the Monte Carlo estimator) and we characterize how such bets should be constructed. We further develop theoretically grounded yet practically implementable approximations of the ideal bet, and we provide concrete decision rules that diagnose when these approximate betting strategies are working as intended. We demonstrate the effectiveness of the proposed methods using both synthetic examples and cross-fidelity computational simulators. Notably, we also showcase an illustrative case in which a group of synthetic distributions are used to infer the real-world pick-and-place accuracy of a robotic manipulator, a seemingly unconventional sim-to-real transfer that becomes natural and feasible under the proposed betting perspective. Programs for reproducing empirical results are available at https://github.com/ISUSAIL/Bet4Sim2Real

대규모로 로봇을 배포하려면 일상적인 상황에 대한 견고성이 필요합니다. 실제 환경을 특징짓는 장면 레이아웃, 객체 형상 및 작업 사양의 셀 수 없이 많은 변형은 방대하며 기존 로봇 벤치마크에서는 과소 표현됩니다. 이러한 일반화 수준을 측정하려면 물리적 평가만으로는 제공할 수 없는 규모와 다양성의 인프라가 필요합니다. 대규모 로봇 정책 벤치마킹을 지원하는 완전 개방형 생태계 MolmoSpaces를 소개합니다. MolmoSpaces는 손으로 만든 가정 장면부터 절차적으로 생성된 멀티룸 주택에 이르기까지 230,000개 이상의 다양한 실내 환경으로 구성되어 있으며, 4200만 개의 안정적인 그립을 갖춘 48,000개의 조작 가능한 개체를 포함하여 주석이 풍부한 130,000개의 개체 자산으로 채워져 있습니다. 결정적으로 이러한 환경은 시뮬레이터에 구애받지 않으며 MuJoCo, Isaac 및 ManiSkill과 같은 인기 있는 옵션을 지원합니다. 생태계는 전체 실내 환경에 걸쳐 조정된 인식, 계획 및 상호 작용이 필요한 정적 및 모바일 조작, 탐색, 멀티룸 장거리 작업 등 구현된 작업의 전체 스펙트럼을 지원합니다. 우리는 또한 로봇이 다양한 장면 및 풍부한 주석이 달린 개체와 상호 작용하는 8가지 작업의 벤치마크 제품군인 MolmoSpaces-bench를 설계합니다. 우리의 실험에서는 MolmoSpaces-bench가 강력한 시뮬레이션-실제 상관관계(R = 0.96, ρ = 0.98)를 나타내고, 더 새롭고 강력한 정책이 벤치마크에서 이전 버전보다 성능이 우수하다는 것을 확인하고, 문구, 초기 관절 위치 및 카메라 폐색을 알리는 주요 민감도를 식별한다는 것을 보여줍니다. MolmoSpaces와 오픈 소스 자산 및 도구를 통해 우리는 로봇 학습 연구를 위한 확장 가능한 데이터 생성, 정책 교육 및 벤치마크 생성을 위한 기반을 제공합니다.

Deploying robots at scale demands robustness to the long tail of everyday situations. The countless variations in scene layout, object geometry, and task specifications that characterize real environments are vast and underrepresented in existing robot benchmarks. Measuring this level of generalization requires infrastructure at a scale and diversity that physical evaluation alone cannot provide. We introduce MolmoSpaces, a fully open ecosystem to support large-scale benchmarking of robot policies. MolmoSpaces consists of over 230k diverse indoor environments, ranging from handcrafted household scenes to procedurally generated multiroom houses, populated with 130k richly annotated object assets, including 48k manipulable objects with 42M stable grasps. Crucially, these environments are simulator-agnostic, supporting popular options such as MuJoCo, Isaac, and ManiSkill. The ecosystem supports the full spectrum of embodied tasks: static and mobile manipulation, navigation, and multiroom long-horizon tasks requiring coordinated perception, planning, and interaction across entire indoor environments. We also design MolmoSpaces-bench, a benchmark suite of 8 tasks in which robots interact with our diverse scenes and richly annotated objects. Our experiments show MolmoSpaces-bench exhibits strong sim-to-real correlation (R = 0.96, ρ = 0.98), confirm newer and stronger policies outperform earlier versions in our benchmarks, and identify key sensitivities to prompt phrasing, initial joint positions, and camera occlusion. Through MolmoSpaces and its open-source assets and tooling, we provide a foundation for scalable data generation, policy training, and benchmark creation for robot learning research.

로봇 학습은 점점 더 크고 다양한 데이터에 의존하고 있지만 로봇 데이터 수집은 여전히 비용이 많이 들고 확장이 어렵습니다. 자기 중심적 인간 데이터는 일상 환경에서 풍부한 조작 행동을 포착하여 유망한 대안을 제공합니다. 그러나 기존의 인간 데이터 세트는 범위가 제한되고, 확장하기 어렵고, 기관 전체에 단편화되어 있는 경우가 많습니다. 공유 프레임워크에서 데이터 수집, 처리 및 액세스를 통합하여 개별 연구원, 학술 연구실 및 업계 파트너의 기여를 가능하게 하는 인간 데이터 기반 로봇 학습을 위한 협업 플랫폼인 EgoVerse를 소개합니다. 현재 릴리스에는 표준화된 형식, 조작 관련 주석 및 다운스트림 학습을 위한 도구를 갖춘 1,965개의 작업, 240개의 장면, 2,087개의 고유한 시연자에 걸쳐 1,362시간(80,000회)의 인간 시연이 포함되어 있습니다. 데이터 세트 외에도 우리는 공유 프로토콜에 따라 여러 실험실, 작업 및 로봇 구현에 걸쳐 복제된 실험을 통해 인간에서 로봇으로의 전송에 대한 대규모 연구를 수행합니다. 우리는 일반적으로 인간 데이터가 증가하면 정책 성과가 향상되지만 효과적인 확장은 인간 데이터와 로봇 학습 목표 간의 조정에 달려 있음을 발견했습니다. 데이터 세트, 플랫폼 및 연구는 인간 데이터 기반 로봇 학습에서 재현 가능한 발전을 위한 기반을 구축합니다.

Robot learning increasingly depends on large and diverse data, yet robot data collection remains expensive and difficult to scale. Egocentric human data offer a promising alternative by capturing rich manipulation behavior across everyday environments. However, existing human datasets are often limited in scope, difficult to extend, and fragmented across institutions. We introduce EgoVerse, a collaborative platform for human data–driven robot learning that unifies data collection, processing, and access under a shared framework, enabling contributions from individual researchers, academic labs, and industry partners. The current release includes 1,362 hours (80k episodes) of human demonstrations spanning 1,965 tasks, 240 scenes, and 2,087 unique demonstrators, with standardized formats, manipulation-relevant annotations, and tooling for downstream learning. Beyond the dataset, we conduct a large-scale study of human-to-robot transfer with experiments replicated across multiple labs, tasks, and robot embodiments under shared protocols. We find that policy performance generally improves with increased human data, but that effective scaling depends on alignment between human data and robot learning objectives. Together, the dataset, platform, and study establish a foundation for reproducible progress in human data–driven robot learning.

구현된 AI 연구는 비전 중심의 지각 패러다임으로 전환되고 있습니다. 대규모 병렬 시뮬레이터는 고유감각 기반 이동의 획기적인 발전을 촉진했지만, 대규모 사실적 렌더링의 엄청난 계산 오버헤드로 인해 시각 중심 작업에서는 그 잠재력이 거의 활용되지 않은 상태로 남아 있습니다. 또한, 시뮬레이션 가능한 3D 자산 생성은 노동 집약적인 수동 모델링에 크게 의존하는 반면, 시뮬레이션과 실제의 상당한 물리적 격차는 접촉이 많은 조작 정책의 이전을 방해합니다. 이러한 병목 현상을 해결하기 위해 우리는 엔드투엔드 지각 학습을 가속화하도록 설계된 다중 모드 시뮬레이션 프레임워크인 gs_playground를 제안합니다. 우리는 고충실도 동기화를 보장하기 위해 배치 3D Gaussian Splatting(3DGS) 렌더링 파이프라인과 통합하도록 특별히 설계된 새로운 고성능 병렬 물리 엔진을 개발합니다. 우리 시스템은 \mathbf{640 × 480} 해상도에서 \mathbf{10^4} FPS의 획기적인 처리량을 달성하여 대규모 시각적 RL에 대한 장벽을 크게 낮췄습니다. 또한, 사실적이며 물리적으로 일관되고 메모리 효율적인 환경을 재구성하여 복잡한 시뮬레이션 지원 장면 생성을 간소화하는 자동화된 Real2Sim 워크플로우를 도입합니다. 이동, 탐색 및 조작에 대한 광범위한 실험은 gs_playground가 다양한 구현 작업에서 지각적, 물리적 격차를 효과적으로 연결한다는 것을 보여줍니다. 우리는 연구 커뮤니티에 힘을 실어주기 위해 풀스택 프레임워크를 오픈 소스로 제공할 것입니다.

Embodied AI research is undergoing a shift toward vision-centric perceptual paradigms. While massively parallel simulators have catalyzed breakthroughs in proprioception-based locomotion, their potential remains largely untapped for vision-centric tasks due to the prohibitive computational overhead of large-scale photorealistic rendering. Furthermore, the creation of simulation-ready 3D assets heavily relies on labor-intensive manual modeling, while the significant sim-to-real physical gap hinders the transfer of contact-rich manipulation policies. To address these bottlenecks, we propose gs_playground, a multi-modal simulation framework designed to accelerate end-to-end perceptual learning. We develop a novel high-performance parallel physics engine, specifically designed to integrate with a batch 3D Gaussian Splatting (3DGS) rendering pipeline to ensure high-fidelity synchronization. Our system achieves a breakthrough throughput of \mathbf{10^4} FPS at \mathbf{640 × 480} resolution, significantly lowering the barrier for large-scale visual RL. Additionally, we introduce an automated Real2Sim workflow that reconstructs photorealistic, physically consistent, and memory-efficient environments, streamlining the generation of complex simulation-ready scenes. Extensive experiments on locomotion, navigation, and manipulation demonstrate that gs_playground effectively bridges the perceptual and physical gaps across diverse embodied tasks. We will open-source the full-stack framework to empower the research community.

목욕과 같은 고부가가치 임상 작업에서 로봇에 대한 수요가 있음에도 불구하고 현대 시스템은 인간과의 복잡하고 지속적인 물리적 상호 작용에 필요한 안전성과 신뢰성이 여전히 부족합니다. 이러한 시스템의 개발을 방해하는 주요 과제는 현대 모션 및 촉각 감지 장비를 사용하더라도 매우 동적이고 접촉이 많은 목욕 시연을 수집, 이해 및 효과적으로 전달하는 것이 어렵다는 것입니다. 우리는 접촉 영역을 주요 처리 기본 요소로 활용하여 높은 충실도로 이를 수행하기 위한 간단하면서도 효과적인 프레임워크를 제시합니다. 우리는 프레임워크를 사용하여 훈련된 임상의가 인간을 대상으로 수행한 목욕 시연 데이터 세트를 구축합니다. 그런 다음 이 데이터 세트를 사용하여 개방형 및 폐쇄형 루프 전략을 사용하여 마네킹에서 목욕 작업을 수행하기 위해 팔에 장착된 민첩한 부드러운 손을 설계하고 제어합니다. 우리의 데이터 세트는 지속적이고 접촉이 풍부한 인간과 인간의 상호 작용 중에 고품질의 동기화된 모션, 형태, 접촉 및 힘을 제공하는 최초의 제품이며, 우리의 전송 전략은 로봇 스택의 여러 수준에서 이러한 데이터의 효과적인 사용을 보여줍니다. 물리적 인간-로봇 상호작용(pHRI) 연구의 발전을 위해 모든 관련 자료가 공개될 예정입니다.

Despite the demand for robots in high-value clinical tasks like bathing, contemporary systems still lack the safety and reliability required for complex, sustained physical interaction with humans. A key challenge hindering the development of such systems is that collecting, understanding, and effectively transferring highly dynamic, contact-rich human bathing demonstrations is difficult, even with modern motion and tactile sensing equipment. We present a straightforward, but effective framework for doing so with high fidelity by utilizing contact regions as a key processing primitive. We use our framework to build a dataset of bathing demonstrations performed by trained clinicians on human subjects. We then use this dataset to design and control an arm-mounted dexterous soft hand to perform bathing tasks on a mannequin using open- and closed-loop strategies. Our dataset is the first to provide high quality synchronized motion, shape, contact, and force during sustained, contact-rich human-human interaction, and our transfer strategies demonstrate effective use of these data across multiple levels of the robotics stack. All relevant materials will be publicly released to enable further advancements in physical human-robot interaction (pHRI) research.

산업 및 농업과 같은 로봇 공학의 다양한 응용 분야에서는 로봇이 다양한 실시 예, 변화하는 시각적 조건 및 복잡한 계획 전반에 걸쳐 작동해야 합니다. 비전-언어 모델(VLM)은 범용적이고 해석 가능한 로봇 추론을 위한 유망한 기반을 제공합니다. VLM을 다양한 로봇 애플리케이션에 맞추려면 로봇 동작의 기초가 되는 개별 결정 구성 요소에 대한 모듈식 이해가 필요합니다. 원격으로 작동되는 엔드투엔드 데이터 세트를 주로 기반으로 하는 기존 로봇 벤치마크에서는 이러한 구조를 포착하는 것이 어렵습니다. 우리는 모듈형 평가 프레임워크인 RQA(Robot Question Answering)와 실제 로봇 시스템, 연구 논문 및 전문가 주석을 선별한 벤치마크인 RoboVista를 제안합니다. RoboVista에는 인간이 주석을 추가한 추론을 갖춘 474개의 VQA가 포함되어 있으며 농업, 산업, 가정, 수술 로봇, 자율 주행 및 개방형 로봇 데이터 세트에서 39개의 고유한 작업 유형을 다룹니다. RoboVista에 대한 실험에서는 최첨단 VLM이 상당한 격차를 보인다는 것을 보여줍니다. 실제 로봇 실험은 RoboVista 성능과 실제 작업 실행 사이에 강한 상관관계가 있음을 시사합니다.

Diverse applications for robotics, such as industry and agriculture, require robots to operate across various embodiments, changing visual conditions, and complex planning. Vision–Language Models (VLMs) offer a promising foundation for general-purpose and interpretable robotic reasoning. Aligning VLMs with diverse robot applications requires a modular understanding of the individual decision components that underlie robotic behavior. Capturing such structure is challenging for conventional robot benchmarks that are primarily based on teleoperated, end-to-end datasets. We propose Robot Question Answering (RQA), a modular evaluation framework and RoboVista, a benchmark curated from real robotic systems, research papers, and expert annotations. RoboVista contains 474 VQAs with human annotated reasoning and covers 39 unique task types in agricultural, industrial, domestic, surgical robotics, autonomous driving, and open robot datasets. Experiments on RoboVista show that state-of-the-art VLMs exhibit substantial gaps. Physical robot experiments suggest strong correlation between RoboVista performance and real-world task execution.

범용 로봇 공학을 추구함으로써 인상적인 기초 모델이 탄생했지만, 시뮬레이션 기반 벤치마킹은 빠른 성능 포화와 진정한 일반화 테스트 부족으로 인해 여전히 병목 현상을 겪고 있습니다. 기존 벤치마크는 종종 훈련과 평가 사이에 상당한 영역 중복을 보여 성공률을 하찮게 만들고 견고성에 대한 통찰력을 모호하게 만듭니다. 이러한 문제를 해결하기 위해 설계된 시뮬레이션 벤치마킹 프레임워크인 RoboLab을 소개합니다. 구체적으로, 우리의 프레임워크는 두 가지 질문에 대답하도록 설계되었습니다. (1) 시뮬레이션에서 정책의 동작을 분석하여 실제 정책의 성과를 어느 정도 이해할 수 있는지, (2) 제어된 섭동 하에서 해당 동작에 가장 큰 영향을 미치는 외부 요인은 무엇입니까? 첫째, RoboLab을 사용하면 물리적으로 현실적이고 사실적인 시뮬레이션 내에서 로봇 및 정책에 구애받지 않는 방식으로 사람이 작성하고 LLM을 통해 장면과 작업을 생성할 수 있습니다. 이를 통해 우리는 시각적, 절차적, 관계형, 복잡성의 4가지 작업 축으로 분류된 약 80개의 작업으로 구성된 RQA(Robot Question and Answering) 벤치마크를 제안합니다. 둘째, 통제된 교란에 대한 성과와 행동의 민감도를 모두 정량화하는 실제 정책에 대한 체계적인 분석을 소개합니다. 이는 고충실도 시뮬레이션이 성과와 외부 요인에 대한 의존성을 분석하기 위한 프록시 역할을 할 수 있음을 나타냅니다. RoboLab을 사용한 평가는 현재 최첨단 모델의 상당한 성능 격차를 드러냅니다. 세분화된 지표와 확장 가능한 도구 세트를 제공함으로써 RoboLab은 작업 일반 로봇 정책의 진정한 일반화 기능을 평가하기 위한 확장 가능한 프레임워크를 제공합니다.

The pursuit of general-purpose robotics has yielded impressive foundation models, yet simulation-based benchmarking remains a bottleneck due to rapid performance saturation and a lack of true generalization testing. Existing benchmarks often exhibit significant domain overlap between training and evaluation, trivializing success rates and obscuring insights into robustness. We introduce RoboLab, a simulation benchmarking framework designed to address these challenges. Concretely, our framework is designed to answer two questions: (1) to what extent can we understand the performance of a real-world policy by analyzing its behavior in simulation, and (2) which external factors most strongly affect that behavior under controlled perturbations. First, RoboLab enables human-authored and LLM-enabled generation of scenes and tasks in a robot- and policy-agnostic manner within a physically realistic and photorealistic simulation. With this, we propose the Robot Question and Answering (RQA) benchmark, consisting of∼80 tasks categorized into four task axes: visual, procedural, relational, and complexity. Second, we introduce a systematic analysis of real-world policies that quantify both their performance and the sensitivity of their behavior to controlled perturbations, indicating that high-fidelity simulation can serve as a proxy for analyzing performance and its dependence on external factors. Evaluation with RoboLab exposes significant performance gap in current state-of-the-art models. By providing granular metrics and a scalable toolset, RoboLab offers a scalable framework for evaluating the true generalization capabilities of task-generalist robotic policies.

신뢰할 수 있는 벤치마킹은 VLA(Vision-Language-Action) 모델을 발전시키는 데 매우 중요합니다. VLA(Vision-Language-Action) 모델은 일반화, 견고성 및 언어 기반 조작 작업에 대한 인식의 정렬을 보여주기 때문입니다. 그러나 기존 벤치마크는 실제 유통 변화를 부적절하게 포착하는 평가 프로토콜이 부족하여 제한적이거나 오해의 소지가 있는 평가를 제공하는 경우가 많습니다. 이 작업은 평가 및 데이터 관점 모두에서 VLA 벤치마킹을 체계적으로 다시 생각하고 다음 기능을 갖춘 벤치마크인 LIBERO-X를 도입합니다. 1) 공간 일반화, 객체 인식 및 작업 지시 이해라는 세 가지 핵심 기능을 목표로 하는 점진적인 난이도 수준을 갖춘 계층적 평가 프로토콜입니다. 이 설계를 통해 환경 및 작업 복잡성이 증가함에 따라 성능 저하를 세밀하게 분석할 수 있습니다. 2) 인간의 원격 조작을 통해 수집된 다양성이 높은 교육 데이터세트로, 각 장면은 열차 평가 분포 격차를 해소하기 위해 여러 개의 세분화된 조작 목표를 지원합니다. 대표적인 VLA 모델을 사용한 실험에서는 누적 교란으로 인해 상당한 성능 저하가 발생하여 장면 이해 및 지침 접지에 지속적인 한계가 있음이 드러났습니다. LIBERO-X는 계층적 평가를 다양한 훈련 데이터와 통합함으로써 VLA 개발을 평가하고 발전시키기 위한 보다 안정적인 기반을 제공합니다.

Reliable benchmarking is critical for advancing Vision–Language–Action (VLA) models, as it reveals their generalization, robustness, and alignment of perception with language-driven manipulation tasks. However, existing benchmarks often provide limited or misleading assessments due to insufficient evaluation protocols that inadequately capture real-world distribution shifts. This work systematically rethinks VLA benchmarking from both evaluation and data perspectives, introducing LIBERO-X, a benchmark featuring: 1) A hierarchical evaluation protocol with progressive difficulty levels targeting three core capabilities: spatial generalization, object recognition, and task instruction understanding. This design enables fine-grained analysis of performance degradation under increasing environmental and task complexity; 2) A high-diversity training dataset collected via human teleoperation, where each scene supports multiple fine-grained manipulation objectives to bridge the train-evaluation distribution gap. Experiments with representative VLA models reveal significant performance drops under cumulative perturbations, exposing persistent limitations in scene comprehension and instruction grounding. By integrating hierarchical evaluation with diverse training data, LIBERO-X offers a more reliable foundation for assessing and advancing VLA development.

로봇 조작 기능이 빠르게 발전했지만 물리적 안전은 여전히 ​​가정용 로봇을 배치하는 데 주요 장벽으로 남아 있습니다. 로봇 자체나 주변 환경이 손상되면 작업 성공이 불충분합니다. 시뮬레이션은 비용이 많이 들고 위험한 실제 교육 및 평가에 대한 무해한 대안을 제공하지만 기존 시뮬레이터에는 손상을 감지, 정량화 및 표시하는 일반적인 메커니즘이 부족합니다. 이러한 격차를 해소하기 위해 우리는 통합 시뮬레이션 프레임워크이자 피해 인식 가구 조작에 대한 벤치마크인 OOPSIEVERSE를 소개합니다. 이론적 수준에서 OOPSIEVERSE는 사용자 기본 설정에 따른 추가 피해 관련 관찰, 보상 및/또는 종료 조건을 통해 기존 마르코프 결정 문제를 강화합니다. OOPSIEVERSE는 접촉력, 온도 변화, 액체 상호 작용과 같은 소스를 해당 기계적, 열적 또는 유체 손상으로 변환하여 명시적이고 물리적으로 기반이 있으며 작업에 구애받지 않는 신호로 손상을 제공합니다. OOPSIEVERSE는 두 가지 핵심 요소로 구성됩니다. (1) 탐색 및 조작 중 손상을 감지하고 수량화하기 위한 시뮬레이터 독립적 프레임워크인 DAMAGESIM과 (2) 일반적인 손상 모드를 평가하고 작업 완료와 안전한 실행을 구별하도록 설계된 가사 작업 제품군입니다. 우리는 서로 다른 물리 백엔드인 OmniGibson(Nvidia Omniverse)과 RoboCasa(MuJoCo)를 사용하는 두 시뮬레이터에서 DAMAGESIM을 인스턴스화하여 프레임워크의 일반성을 보여줍니다. 우리는 (1) 실시간 손상 피드백을 통해 보다 안전한 데모 수집 안내, (2) 손상 조건 모방 학습 및 강화 학습을 통해 보다 안전한 조작 정책 학습, (3) 최첨단 Vision Language Action 정책의 안전성 벤치마킹, (4) 시뮬레이션에서 실제로 전송된 정책의 실제 안전성 향상 등 다양한 사용 사례에 걸쳐 OOPSIEVERSE의 유용성을 보여줍니다. 함께, 우리의 결과는 안전한 로봇 조작에 대한 체계적이고 확장 가능한 연구를 위한 오픈 소스 기반으로서 OOPSIEVERSE의 잠재력을 강조합니다. 코드 및 추가 정보는 https:\oopsiverse-anon.github.io를 참조하세요.

While robotic manipulation capabilities have advanced rapidly, physical safety remains a major barrier to deploying household robots: task success is insufficient if the robot damages itself or its surroundings. Simulation offers a harm-free alternative to costly and dangerous real-world training and evaluation, yet existing simulators lack general mechanisms to detect, quantify, and represent damage. To address this gap, we introduce OOPSIEVERSE, a unified simulation framework and benchmark for damage-aware household manipulation. At a theoretical level, OOPSIEVERSE augments an existing Markov Decision Problem with additional damage-related observations, rewards and/or termination conditions based on user preferences. OOPSIEVERSE provides damage as an explicit, physically-grounded, and task-agnostic signal by converting sources such as contact forces, temperature changes, and liquid interactions into corresponding mechanical, thermal or fluid damage. OOPSIEVERSE comprises two core elements: (1) DAMAGESIM, a simulator-agnostic framework for detecting and quantifying damage during navigation and manipulation, and (2) a suite of household tasks designed to evaluate common damage modes and distinguish between task completion and safe execution. We demonstrate the generality of our framework by instantiating DAMAGESIM in two simulators with different physics backends, OmniGibson (Nvidia Omniverse) and RoboCasa (MuJoCo). We further showcase the utility of OOPSIEVERSE across multiple use cases, including (1) guiding safer demonstration collection via real- time damage feedback, (2) learning safer manipulation policies through damage-conditioned imitation learning and reinforcement learning, (3) benchmarking the safety of state-of-the-art Vision Language Action policies, and (4) improving real-world safety of sim-to-real transferred policies. Together, our results highlight the potential of OOPSIEVERSE as an open-source foundation for systematic, scalable research on safe robot manipulation. For code and additional information, please refer to https:\oopsiverse-anon.github.io.

시뮬레이션 기반 강화 학습(RL)은 전문가의 시연을 이용할 수 없는 경우 로봇 제어의 핵심입니다. 그러나 RL을 고차원 로봇으로 확장하는 것은 여전히 ​​어려운 일입니다. PPO와 같은 On-Policy 방식은 신뢰성이 높지만 과거 데이터를 폐기하기 때문에 많은 양의 시뮬레이션이 필요합니다. 정책 외 방법은 경험을 재사용할 수 있고 샘플 효율성이 더 높지만 부트스트랩 업데이트 중에 증폭되는 심각한 오류로 인해 고차원 제어에서 불안정해지는 경우가 많습니다. 고차원 로봇 제어를 위한 빠르고 안정적인 오프 정책 RL 알고리즘인 FlashSAC를 소개합니다. FlashSAC는 두 가지 방법으로 훈련 안정성을 향상시킵니다. (1) 가중치, 기능 및 그래디언트 표준을 명시적으로 제한하여 임계 오류 증폭을 제한하고, (2) 대규모 병렬 시뮬레이션, 대용량 재생 버퍼 및 강력한 탐색을 통해 데이터 적용 범위를 늘립니다. 이러한 설계 선택은 훈련 안정성을 향상시키면서 정책 외 학습의 샘플 효율성을 유지합니다. 10개 시뮬레이터의 50개 이상의 상태 기반 및 비전 기반 작업 전반에 걸쳐 FlashSAC는 최종 성능과 벽시계 효율성 모두에서 지속적으로 PPO 및 강력한 비정책 기준선을 능가하며 고차원 작업에서 더 큰 이득을 얻습니다. 시뮬레이션과 실제 인간형 보행에서 FlashSAC는 안정적인 실제 배포를 유지하면서 훈련 시간을 몇 시간에서 몇 분으로 단축합니다. 우리의 결과는 정책 외 학습을 안정화하면 고차원 로봇 시스템을 위한 확장 가능한 시뮬레이션-실제 RL이 가능하다는 것을 보여줍니다.

Simulation-based reinforcement learning (RL) is central for robotic control when expert demonstrations are unavailable. However, scaling RL to high-dimensional robots remains challenging. On-policy methods such as PPO are reliable but require large amounts of simulation because they discard past data. Off-policy methods can reuse experience and are more sample-efficient, but they often become unstable in high-dimensional control due to critic errors that are amplified during bootstrapped updates. We introduce FlashSAC, a fast and stable off-policy RL algorithm for high-dimensional robotic control. FlashSAC improves training stability in two ways: (1) it explicitly bounds weight, feature, and gradient norms to limit critic error amplification, and (2) it increases data coverage through large-scale parallel simulation, a high-capacity replay buffer, and strong exploration. These design choices preserve the sample efficiency of off-policy learning while improving training stability. Across 50+ state-based and vision-based tasks in 10 simulators, FlashSAC consistently surpasses PPO and strong off-policy baselines in both final performance and wall-clock efficiency, with larger gains on higher-dimensional tasks. In sim-to-real humanoid walking, FlashSAC reduces training time from hours to minutes while maintaining stable real-world deployment. Our results show that stabilizing off-policy learning enables scalable sim-to-real RL for high-dimensional robotic systems.

수영 효율성과 물고기의 민첩성을 일치시키는 것은 수중 로봇 공학에서 어려운 목표로 남아 있습니다. 이러한 이동 기능은 로봇 본체와 주변 유체 사이의 복잡한 소용돌이 상호 작용에 의존합니다. 그러나 결합된 상미분 방정식과 편미분 방정식에 의해 제어되는 이러한 역학을 시뮬레이션하는 것은 기존 강체 로봇 시스템의 다물체 역학보다 훨씬 더 어렵습니다. 우리는 강력하게 결합된 유체-로봇 다중물리를 통합 최적화 문제로 시뮬레이션하기 위한 미분 가능한 프레임워크를 제시합니다. 결합 조작자와 비압축성 Navier-Stokes 방정식은 최소 작용 원리를 사용하여 단일 라그랑지안에서 함께 파생됩니다. 우리는 관절형 몸체와 주변 유체를 공동으로 시뮬레이션하기 위한 안정적이고 조건이 잘 잡혀 있으며 물리적으로 정확한 체계를 도출하기 위해 이산적 변형 역학을 사용합니다. 우리는 완전히 결합된 동역학의 도함수를 계산하기 위해 암시적 함수 정리를 활용합니다. 이 시뮬레이터와 그 경사도를 사용하여 우리는 물결 모양의 수영 보행을 실현하고 생체 영감을 받은 장어 로봇을 위한 매우 역동적인 C-start 탈출 동작을 최적화합니다. 우리는 물리적 하드웨어에서 두 가지 보행을 검증하여 성공적인 시뮬레이션-실제 전송을 보여줍니다.

Matching the swimming efficiency and agility of fish has remained an elusive goal in underwater robotics. Such locomotion capabilities rely on complex vortex interactions between the robot’s body and the surrounding fluid. However, simulating these dynamics, which are governed by coupled ordinary and partial differential equations, is significantly more difficult than the multi-body dynamics of classical rigid robotic systems. We present a differentiable framework for simulating strongly coupled fluid-robot multiphysics as a unified optimization problem. The coupled manipulator and incompressible Navier-Stokes equations are derived together from a single Lagrangian using the principle of least action. We employ discrete variational mechanics to derive a stable, well-conditioned, and physically accurate scheme for jointly simulating articulated bodies and the surrounding fluid. We leverage the implicit function theorem to compute derivatives of the fully coupled dynamics. Using this simulator and its gradients, we realize undulating swimming gaits and optimize a highly dynamic C-start escape maneuver for a bioinspired eel robot. We validate both gaits on physical hardware, demonstrating successful sim-to-real transfer.

이산시간 관절 가속도 경계는 위치 및 속도 제한을 적용하는 데 널리 사용됩니다. 그러나 전압이 제한된 전기 액추에이터에서는 운동학적으로 허용되는 가속도가 물리적으로 실현 불가능하여 실행 수준 추상화가 누락될 수 있습니다. 우리는 가속도를 작동하여 전압이 제한된 액추에이터 물리학의 운동학적 가속도 경계를 기반으로 하는 공동 수준 실현 계약인 AJAC(Actuator-Aware Joint Acceleration Control)를 제안합니다. 전기 액추에이터와 바퀴 달린 4족 보행 장치에 대한 하드웨어 실험에서는 AJAC가 실현 불가능한 가속도를 제거하고 일관된 경계 근처 실행을 복원하며 경계로 인한 진동을 줄이는 것으로 나타났습니다.

Discrete-time joint acceleration bounds are widely used to enforce position and velocity limits. However, under voltage-constrained electric actuators, kinematically admissible accelerations may be physically unrealizable, exposing a missing execution-level abstraction. We propose Actuator-Aware Joint Acceleration Control (AJAC), a joint-level realizability contract that grounds kinematic acceleration bounds in voltage-constrained actuator physics by operating accelerations. Hardware experiments on electric actuators and a wheel-legged quadruped show that AJAC removes unrealizable accelerations, restores consistent near-boundary execution, and reduces boundary-induced oscillations.

강력한 궤적 최적화를 통해 모든 경계 교란에 대한 제약 조건을 충족하는 제어 정책을 계산함으로써 자율 시스템이 불확실성 속에서도 안전하게 작동할 수 있습니다. 그러나 이러한 문제로 인해 계산 비용이 많이 드는 대규모 SOCP(Second Order Conic Programme) 제약 조건이 발생하는 경우가 많습니다. 본 연구에서는 강력한 의사 결정에 직접 적용되고 CUDA에서 구현되는 두 가지 동적 최적화 아키텍처를 도입하여 cuNRTO(CUDA Nonlinear Robust Trajectory Optimization) 프레임워크를 제안합니다. 첫 번째 아키텍처인 NRTO-DR은 DR(Douglas-Rachford) 분할 방법을 활용하여 NRTO의 SOCP 내부 하위 문제를 해결함으로써 병렬 SOCP 투영 및 희소 직접 해결을 통해 계산 부담을 크게 줄입니다. 두 번째 아키텍처인 NRTO-FullADMM은 문제 구조를 더욱 활용하여 ADMM(Alternating Direction Method of Multipliers)을 사용하여 확장성을 향상시키는 새로운 변형입니다. 마지막으로, 우리는 SOC 프로젝션 단계를 위한 맞춤형 CUDA 커널과 피드백 이득 업데이트를 위한 cuBLAS GEMM 체인을 사용하여 제안된 방법론의 GPU 구현을 제공합니다. 외발자전거, 쿼드콥터 및 Franka 매니퓰레이터 모델에 대한 시뮬레이션 실험을 통해 cuNRTO의 성능을 검증하고 최대 139.6배의 속도 향상을 보여줍니다.

Robust trajectory optimization enables autonomous systems to operate safely under uncertainty by computing control policies that satisfy the constraints for all bounded disturbances. However, these problems often lead to large Second Order Conic Programming (SOCP) constraints, which are computationally expensive. In this work, we propose the CUDA Nonlinear Robust Trajectory Optimization (cuNRTO) framework by introducing two dynamic optimization architectures that have direct application to robust decision-making and are implemented on CUDA. The first architecture, NRTO-DR, leverages the Douglas-Rachford (DR) splitting method to solve the SOCP inner subproblems of NRTO, thereby significantly reducing the computational burden through parallel SOCP projections and sparse direct solves. The second architecture, NRTO-FullADMM, is a novel variant that further exploits the problem structure to improve scalability using the Alternating Direction Method of Multipliers (ADMM). Finally, we provide a GPU implementation of the proposed methodologies using custom CUDA kernels for SOC projection steps and cuBLAS GEMM chains for feedback gain updates. We validate the performance of cuNRTO through simulated experiments on unicycle, quadcopter, and Franka manipulator models, demonstrating speedup up to 139.6×.

우리는 고차원의 불확실한 로봇 시스템과 장기적인 계획 범위에 맞게 확장되는 입증된 안전하고 견고한 비선형 모델 예측 제어(MPC)를 위한 GPU 병렬화 프레임워크인 GPU-SLS를 제시합니다. 우리의 방법은 부등식 제한이 있고 동적으로 실행 가능한 공칭 궤적, 추적 컨트롤러 및 교란 시 도달 가능한 폐쇄 루프 세트를 모두 실시간으로 공동으로 최적화합니다. 명목 궤적을 효율적으로 계산하기 위해 우리는 ADMM(교대 방향 곱셈 방법) 프레임워크 내에서 병렬 연관 스캔 및 적응형 캐싱을 사용하는 새로운 GPU 가속 2차 프로그램(QP) 솔버를 사용하여 순차 2차 프로그래밍 절차를 개발합니다. 동일한 GPU QP 백엔드는 SLS(시스템 수준 합성)를 통해 강력한 추적 컨트롤러와 폐쇄 루프 도달 가능 세트를 최적화하는 데 사용되어 고정 및 후퇴 수평 설정 모두에서 도달 가능성이 제한된 제어를 가능하게 합니다. 우리는 최첨단 CPU 솔버에 비해 공칭 궤적 해석 시간을 97.7%, GPU 솔버에 비해 71.8% 단축하는 동시에 SLS 기반 제어 및 도달 가능성을 237배 가속화하여 상당한 성능 향상을 달성했습니다. 큰 문제 규모에도 불구하고 우리의 방법은 고차원 학습 기반 도달 가능성 기준과 달리 100% 경험적 안전성을 달성합니다. 우리는 전신 네발 동물(61D) 및 휴머노이드(75D)를 포함한 복잡한 비선형 시스템에 대한 접근 방식을 검증하고 평균 34밀리초 내에 GPU에서 온라인으로 강력한 제어 정책을 합성하고 2 × 10^5 결정 변수 및 8× 10^4 제약 조건이 있는 문제로 확장합니다.

We present GPU-SLS, a GPU-parallelized framework for provably safe, robust nonlinear model predictive control (MPC) that scales to high-dimensional uncertain robotic systems and long planning horizons. Our method jointly optimizes an inequality-constrained, dynamically-feasible nominal trajectory, a tracking controller, and a closed-loop reachable set under disturbance, all in real time. To efficiently compute nominal trajectories, we develop a sequential quadratic programming procedure with a novel GPU-accelerated quadratic program (QP) solver that uses parallel associative scans and adaptive caching within an alternating direction method of multipliers (ADMM) framework. The same GPU QP backend is used to optimize robust tracking controllers and closed-loop reachable sets via system level synthesis (SLS), enabling reachability-constrained control in both fixed- and receding-horizon settings. We achieve substantial performance gains, reducing nominal trajectory solve times by 97.7% relative to state-of-the-art CPU solvers and 71.8% compared to GPU solvers, while accelerating SLS-based control and reachability by 237×. Despite large problem scales, our method achieves 100% empirical safety, unlike high-dimensional learning-based reachability baselines. We validate our approach on complex nonlinear systems, including whole-body quadrupeds (61D) and humanoids (75D), synthesizing robust control policies online on the GPU in 34 milliseconds on average and scaling to problems with 2 × 10^5 decision variables and 8× 10^4 constraints.

실제 작업에는 종종 직접적으로 경쟁하는 목표와 안전 사양의 미묘한 조합이 포함됩니다. 높은 차원에서는 문제가 더욱 악화됩니다. 공식 오토마타는 번거로워지고 희박한 보상의 조합에는 힘든 조정이 필요한 경향이 있습니다. 본 연구에서는 추가적인 추상화를 도입하지 않고도 자동 성능 향상을 위해 문제를 자연스럽게 구성하는 수단으로 Bellman Value의 구조를 고려합니다. 즉, 우리는 시간적 논리로 정의된 복잡한 작업에 대한 Bellman 값이 Bellman 값의 그래프로 분해될 수 있음을 증명합니다. 여기서 그래프는 잘 연구된 Bellman 방정식(BE) 세트인 Reach-Avoid BE, 회피 BE 및 새로운 유형인 Reach-Avoid-Loop BE로 연결됩니다. 이러한 관점에서 우리는 분해된 값 그래프를 내장하여 단일 학습 표현을 사용하는 특수 PPO 변형인 VDPPO(값 분해 PPO)를 설계합니다. 우리는 이질적인 팀과 복잡한 에이전트가 포함된 다양한 고차원 시스템에서 우리의 방법을 테스트하기 위해 배달 및 집단을 포함한 다양한 시뮬레이션 및 실제 다목적 실험을 수행합니다. 궁극적으로 우리는 이 접근 방식이 기존 기준에 비해 성능을 크게 향상시켜 안전성과 활성도의 균형을 자동으로 맞추는 것을 발견했습니다.

Real-world tasks involve nuanced combinations of goal and safety specifications, which often directly compete. In high dimensions, the challenge is exacerbated: formal automata become cumbersome, and the combination of sparse rewards tends to require laborious tuning. In this work, we consider the structure of the Bellman Value as a means to naturally organize the problem for improved automatic performance without introducing additional abstractions. Namely, we prove the Bellman Value for a complex task defined in temporal logic can be decomposed into a graph of Bellman Values, where the graph is connected by a set of well-studied Bellman equations (BEs): the Reach-Avoid BE, the Avoid BE, and a novel type, the Reach-Avoid-Loop BE. From this perspective, we design a specialized PPO variant, Value-Decomposition PPO (VDPPO) that uses a single learned representation by embedding the decomposed Value graph. We conduct a variety of simulated and real multi-objective experiments, including delivery and herding, to test our method on diverse high-dimensional systems involving heterogeneous teams and complex agents. Ultimately, we find this approach greatly improves performance over existing baselines, balancing safety and liveness automatically.

우리는 우리가 아는 한 인간형 볼봇 하드웨어에 강화 학습(RL)을 최초로 성공적으로 배포한 asRoBallet을 소개합니다. 역사적으로 볼봇은 바퀴-구체-지면 상호 작용에 대한 복잡한 마찰 모델의 현실 격차를 특징으로 하는 저작동 및 비홀로노믹 제어에 대한 표준 벤치마크 역할을 해왔습니다. 현재 문헌에서는 LQR 및 MPC를 사용한 3D 밸런싱의 성공적인 처리를 보여주지만, RL을 사용하는 휴머노이드 볼봇의 실제 하드웨어로 전환하는 것은 현재 접촉 모델링, 액추에이터 대기 시간 및 지터, 안전한 하드웨어 탐색의 중요한 격차로 인해 방해를 받고 있습니다. 본 연구에서는 ETH 유형 옴니휠의 개별 롤러 메커니즘을 명시적으로 모델링하여 이전에 무시되었던 기생 진동 및 접촉 불연속성을 포착하는 충실도가 높은 MuJoCo 시뮬레이션을 제안합니다. 또한 휠-구체 및 구-지면 인터페이스에서 결합된 롤링, 측면 및 비틀림 마찰 채널을 마스터하여 제로 샷 Sim2Real 전송을 달성하는 마찰 인식 강화 학습 프레임워크를 개발했습니다. 우리는 감산적 재구성을 통해 RoBallet을 설계하고, 과도하게 구속된 4족 보행기의 주요 구성 요소를 용도 변경하고 이를 새로 설계된 구조 프레임에 통합하여 저렴한 비용으로 강력한 연구 플랫폼을 달성했습니다. 또한 우리는 가전 제품을 지연 시간이 짧은 인터페이스로 변환하는 일반화된 iOS 생태계를 개발하여 단일 운영자가 직관적이고 자연스러운 움직임을 통해 표현력이 풍부한 휴머노이드 조작을 조율할 수 있도록 했습니다.

We introduce asRoBallet, to the best of our knowledge, the first successful deployment of reinforcement learning (RL) on a humanoid ballbot hardware. Historically, ballbots have served as a canonical benchmark for underactuated and nonholonomic control, which are characterized by a reality gap in complex friction models for wheel-sphere-ground interactions. While current literature demonstrates successful handling of 3D balancing with LQR and MPC, transitioning to actual hardware for a humanoid ballbot using RL is currently hindered by critical gaps in contact modeling, actuator latency & jitter, and safe hardware exploration. This study proposes a high-fidelity MuJoCo simulation that explicitly models the discrete roller mechanics of ETH-type omni-wheels, thereby capturing parasitic vibrations and contact discontinuities that are previously ignored. We also developed a Friction-Aware Reinforcement Learning framework that achieves zero-shot Sim2Real transfer by mastering the coupled rolling, lateral, and torsional friction channels at the wheel-sphere and sphere-ground interfaces. We designed asRoBallet through subtractive reconfiguration, repurposing key components from an overconstrained quadruped and integrating them into a newly designed structural frame to achieve a robust research platform at low cost. We also developed a generalized iOS ecosystem that transforms consumer electronics into a low-latency interface, enabling a single operator to orchestrate expressive humanoid maneuvers via intuitive natural motion.

연속체 로봇에 대한 다단계 동작 예측은 어렵습니다. 특히 오류 누적으로 인해 예측된 꾸준한 응답이 왜곡되고 롤아웃이 불안정해질 수 있는 작동 분포 이동 시에는 더욱 그렇습니다. 이 논문에서는 꾸준한 동작을 명시적으로 만드는 힘줄 기반 3D 연속체 팔을 위한 하이브리드 평형 고정 및 잔차 학습 프레임워크를 소개합니다. 사전 평형은 저렴한 정적 평형 데이터로부터 학습되고 예측을 평형 추정치로 지속적으로 끌어오는 수축 업데이트에 사용되어 롤아웃 안정성을 향상시킵니다. 매개변수가 선형인 경량 기능 제거 잔여 모델은 동적 궤적 데이터에서 나머지 한 단계 불일치를 학습하여 일시적인 역학을 복구합니다. 이 접근 방식은 훈련보다 더 강력하고 빠른 작동 하의 200단계 롤아웃에서 검증되었습니다. 하이브리드는 백본 위치 RMSE를 26%, 팁 위치 RMSE를 27% 줄여 사전 및 잔차 전용 예측 변수에 비해 일관된 정확도 향상을 제공하는 동시에 테스트된 모든 궤적에서 안정성을 유지합니다. 동일하게 제안된 모델은 또한 일치된 평가 프로토콜에 따라 결합된 Koopman 기준선에 대한 표준 비선형 벤치마크의 견고성을 향상시킵니다.

Multi-step motion prediction for continuum robots is difficult, especially under actuation distribution shift, where error accumulation can distort the predicted steady response and destabilize rollouts. This paper introduces a hybrid equilibrium-anchored plus residual-learning framework for a tendon-driven 3D continuum arm that makes steady behavior explicit. An equilibrium prior is learned from inexpensive static equilibrium data and used in a contractive update that continuously pulls predictions toward the equilibrium estimate, improving rollout stability. A lightweight feature-lifted residual model, linear in parameters, learns the remaining one-step mismatch from dynamic trajectory data, recovering transient dynamics. The approach is validated on 200-step rollouts under actuation that is stronger and faster than in training. The Hybrid reduces backbone position RMSE by 26% and tip position RMSE by 27%, producing consistent accuracy gains over prior-only and residual-only predictors while remaining stable across all tested trajectories. The same proposed model also improves robustness on standard nonlinear benchmarks against a combined Koopman baseline under matched evaluation protocols.

다양한 수술 절차에서 장기나 병변과 같은 관심 영역(ROI)이 겹쳐진 조직에 의해 가려지는 경우가 많으므로 외과 의사는 정확한 개입을 위해 적절한 노출을 달성해야 합니다. 그러나 불규칙한 기하학적 구조, 상부 조직의 비선형 생체 역학적 특성 및 ROI의 제한된 수술 중 가시성으로 인해 조직 수축의 자율 실행에 심각한 문제가 발생합니다. 이 문제를 해결하기 위해 우리는 조직 수축 작업의 현실적인 모델을 공식화하고 ROI 노출을 달성하기 위한 학습 기반 적응 제어 프레임워크를 제안합니다. 이 방법은 조직의 시각적 경계 변화를 모니터링하여 온라인으로 제어 입력을 최적화하는 동시에 시뮬레이션 데이터에 대해 훈련된 심층 변형 추정 모델을 활용하여 최적의 파지 지점을 식별하고 적응형 컨트롤러의 수렴 및 안전성을 보장합니다. 다양한 변형 가능한 재료에 대한 시뮬레이션과 실제 실험을 통해 이 프레임워크는 유사한 작업에 대한 제로 샷 적응을 나타내며 초기 파악 선택부터 전체 ROI 노출까지 자율적 철회 프로세스를 완료할 수 있음이 입증되었습니다. 따라서 실제 수술 지원 시나리오에 적용될 가능성이 있습니다.

In various surgical procedures, regions of interest (ROIs) such as organs or lesions are often occluded by overlying tissues, requiring surgeons to achieve adequate exposure for precise intervention. However, the irregular geometry, nonlinear biomechanical properties of overlying tissues, and limited intraoperative visibility of the ROI pose significant challenges to the autonomous execution of tissue retraction. To address this, we formulate a realistic model of the tissue retraction task and propose a learning-based adaptive control framework for achieving ROI exposure. The method optimizes control inputs online by monitoring changes in the visual boundary of the tissue, while leveraging a deep deformation estimation model trained on simulation data to identify the optimal grasping point and ensure the convergence and safety of the adaptive controller. Through simulations and real-world experiments on different deformable materials, it has been demonstrated that this framework exhibits zero-shot adaptation to similar tasks and can complete the autonomous retraction process, from initial grasp selection to full ROI exposure. Therefore, it has the potential to be applied in actual surgical assistance scenarios.

MPPI(Model Predictive Path Integral) 방법과 같은 샘플링 기반 컨트롤러는 상당한 유연성을 제공하지만 종종 높은 분산과 낮은 샘플 효율성으로 인해 어려움을 겪습니다. 이러한 문제를 해결하기 위해 이전 모델을 샘플링 프로세스에 통합하는 하이브리드 분산 감소 MPPI 프레임워크를 도입합니다. 우리의 핵심 통찰력은 목적 함수를 알려진 근사 모델과 잔차 항으로 분해하는 것입니다. 잔차는 모델과 목표 사이의 불일치만 포착하므로 일반적으로 원래 목표보다 더 작은 크기와 더 낮은 분산을 나타냅니다. 이 원칙은 일반적인 모델링 선택에 적용되지만, 2차 근사를 채택하면 정보 영역에 샘플을 효과적으로 집중시키는 닫힌 형식의 모델 안내 사전을 도출할 수 있음을 보여줍니다. 결정적으로 프레임워크는 기하학적 정보의 소스에 대해 불가지론적이므로 정확한 도함수, 구조적 근사치(예: Gauss- 또는 Quasi-Newton) 또는 그라데이션 없는 무작위 평활화를 통해 2차 모델을 구성할 수 있습니다. 우리는 표준 최적화 벤치마크, 비선형, 제대로 작동되지 않은 카트 폴 제어 작업 및 부드럽지 않은 역학을 포함한 접촉이 많은 조작 문제에 대한 접근 방식을 검증합니다. 이러한 영역 전반에 걸쳐 우리는 표준 MPPI에 비해 낮은 샘플 체제에서 더 빠른 수렴과 우수한 성능을 달성합니다. 이러한 결과는 샘플을 얻는 데 비용이 많이 들거나 제한되는 시나리오에서 이 방법이 샘플 기반 제어 전략을 보다 실용적으로 만들 수 있음을 시사합니다.

Sampling-based controllers, such as Model Predictive Path Integral (MPPI) methods, offer substantial flexibility but often suffer from high variance and low sample efficiency. To address these challenges, we introduce a hybrid variance-reduced MPPI framework that integrates a prior model into the sampling process. Our key insight is to decompose the objective function into a known approximate model and a residual term. Since the residual captures only the discrepancy between the model and the objective, it typically exhibits a smaller magnitude and lower variance than the original objective. Although this principle applies to general modeling choices, we demonstrate that adopting a quadratic approximation enables the derivation of a closed-form, model-guided prior that effectively concentrates samples in informative regions. Crucially, the framework is agnostic to the source of geometric information, allowing the quadratic model to be constructed from exact derivatives, structural approximations (e.g., Gauss- or Quasi-Newton), or gradient-free randomized smoothing. We validate the approach on standard optimization benchmarks, a nonlinear, underactuated cart-pole control task, and a contact-rich manipulation problem with non-smooth dynamics. Across these domains, we achieve faster convergence and superior performance in low-sample regimes compared to standard MPPI. These results suggest that the method can make sample-based control strategies more practical in scenarios where obtaining samples is expensive or limited.

우리는 컨트롤러 설계를 추론으로 캐스팅하여 미분 가능한 역학 하에서 유한 수평 궤적 및 정책 최적화를 위한 샘플링 기반 프레임워크를 제안합니다. 구체적으로, 우리는 온도가 감소함에 따라 저비용 솔루션에 집중하는 컨트롤러 매개변수에 대해 최적의 "Boltzmann-tilted" 분포를 생성하는 KL 정규화 예상 궤도 비용을 최소화합니다. 이 날카롭고 잠재적으로 다중 모드인 대상에서 효율적으로 샘플링하기 위해 TSMC(Tempered ential Monte Carlo)를 도입합니다. 이는 대상 분포 이전의 템퍼링 경로를 따라 입자의 가중치를 적절하게 재조정하고 재샘플링하는 동시에 해밀턴 몬테 카를로 회춘을 사용하여 다양성을 유지하고 궤적 롤아웃을 통해 차별화하여 얻은 정확한 그라데이션을 활용하는 어닐링 방식입니다. 정책 최적화를 위해 (i) 초기 상태 분포의 결정론적 경험적 근사와 (ii) 롤아웃 무작위성을 보조 변수로 처리하는 확장 공간 구성을 통해 TSMC를 확장합니다. 궤도 및 정책 최적화 벤치마크에 대한 실험에서는 TSMC가 광범위하게 적용 가능하며 최첨단 기준과 비교하여 유리하다는 것을 보여줍니다.

We propose a sampling-based framework for finite-horizon trajectory and policy optimization under differentiable dynamics by casting controller design as inference. Specifically, we minimize a KL-regularized expected trajectory cost, which yields an optimal “Boltzmann-tilted” distribution over controller parameters that concentrates on low-cost solutions as temperature decreases. To sample efficiently from this sharp, potentially multimodal target, we introduce tempered sequential Monte Carlo (TSMC): an annealing scheme that adaptively reweights and resamples particles along a tempering path from a prior to the target distribution, while using Hamiltonian Monte Carlo rejuvenation to maintain diversity and exploit exact gradients obtained by differentiating through trajectory rollouts. For policy optimization, we extend TSMC via (i) a deterministic empirical approximation of the initial-state distribution and (ii) an extended-space construction that treats rollout randomness as auxiliary variables. Experiments across trajectory- and policy-optimization benchmarks show that TSMC is broadly applicable and compares favorably to state-of-the-art baselines.

반결정 프로그래밍(SDP)은 모션 계획에서 볼록하지 않은 기하학적 제약의 볼록 완화를 위한 원칙적인 프레임워크를 제공하지만, 기존 솔버는 특히 리소스가 제한된 임베디드 시스템에서 실시간 제어를 수행하기에는 계산 비용이 너무 높습니다. 이러한 격차를 해소하기 위해 우리는 임베디드 시스템용으로 설계된 최초의 준정한 프로그래밍 솔버인 TinySDP를 소개합니다. 이를 통해 비볼록 장애물 제약 조건 문제에 대해 마이크로컨트롤러에 대한 공식적인 안전 보장을 통해 실시간 모델 예측 제어(MPC)를 가능하게 합니다. 우리의 접근 방식은 양의 준확정 원뿔 투영을 캐시된 Riccati 기반 ADMM 솔버에 통합하여 내장된 다루기 쉬운 계산 구조를 활용합니다. 우리는 이 솔버를 각 단계에서 완화된 솔루션을 명시적인 기하학적 보장으로 변환하는 사후 순위 1 인증서와 결합합니다. 로컬 방법의 실패를 유발하는 막다른 골목 및 동적 장애물 회피 시나리오와 같은 까다로운 벤치마크에서 TinySDP는 최첨단 기준선보다 최대 73% 더 짧은 경로를 사용하여 충돌 없는 탐색을 달성합니다. 우리는 Crazyflie 쿼드로터에 대한 접근 방식을 검증하여 민첩한 임베디드 로봇 공학에 대해 인증 가능한 준정한 제약 조건이 실시간 속도로 시행될 수 있음을 보여줍니다.

Semidefinite programming (SDP) provides a principled framework for convex relaxations of nonconvex geometric constraints in motion planning, yet existing solvers are too computationally expensive for real-time control, particularly on resource-constrained embedded systems. To address this gap, we introduce TinySDP, the first semidefinite programming solver designed for embedded systems, enabling real-time model-predictive control (MPC) with formal safety guarantees on microcontrollers for problems with nonconvex obstacle constraints. Our approach integrates positive-semidefinite cone projections into a cached-Riccati-based ADMM solver, leveraging computational structure for embedded tractability. We pair this solver with an a posteriori rank-1 certificate that converts relaxed solutions into explicit geometric guarantees at each timestep. On challenging benchmarks, e.g., cul-de-sac and dynamic obstacle avoidance scenarios that induce failures in local methods, TinySDP achieves collision-free navigation with up to 73% shorter paths than state-of-the-art baselines. We validate our approach on a Crazyflie quadrotor, demonstrating that certifiable semidefinite constraints can be enforced at real-time rates for agile embedded robotics.

고정밀 중부하 정지작업은 전통적으로 숙련된 작업자가 수동으로 수행했던 토공사의 일반적인 단계입니다. 고정밀 표면을 달성하면서 상당한 양의 재료를 제거하려면 상당한 기계 관련 경험이 필요합니다. 다양한 유압 아키텍처는 운전자 입력 및 토양 상호 작용력에 다르게 반응하므로 일반화 가능한 컨트롤러가 까다롭습니다. 본 논문에서는 Load Sensing 및 Negative Flow Control 기계 모두에서 전문가와 작업자의 속도로 고정밀 등급을 달성하는 자율 컨트롤러를 제시합니다. 우리는 컨트롤러를 (1) 유압 아키텍처에 특화된 유압 인식 하위 레벨 루프와 (2) 관절 동작과 반응을 조정하는 경로 추적 레이어의 두 부분으로 나눕니다. 교정 프로세스를 통해 당사의 기술은 부하 감지 및 음의 흐름 제어 기계에 적용 가능합니다. 그 다양성을 보여주기 위해 우리는 서로 다른 유압 장치를 갖춘 두 대의 굴삭기에 대한 접근 방식을 벤치마킹하고 이를 상업용 최첨단 솔루션과 비교합니다. 우리의 기술(RMSE 1.8cm)은 상용 솔루션(RMSE 4.7cm)보다 정밀도가 2.6배 더 뛰어나며 조기에 중단되는 상용 솔루션과 달리 최대 기능 압력을 활용하여 기계 사용률을 향상시킵니다.

High-precision heavy-duty grading is a common step in earthworks, traditionally carried out manually by skilled operators. Removing a significant amount of material while achieving a high-precision surface requires substantial machine-specific experience. Different hydraulic architectures react differently to operator inputs and soil interaction forces, which makes generalizable controllers challenging. In this paper, we present an autonomous controller that achieves high-precision grading at expert-operator speed on Load Sensing and Negative Flow Control machines alike. We split our controller into two parts: (1) a hydraulic-aware low-level loop that is hydraulic architecture-specific and (2) a path-tracking layer that coordinates joint motions and responses. Through a calibration process, our technique is applicable to load-sensing and negative-flow-control machinery. To showcase its versatility, we benchmark our approach on two excavators with different hydraulics and compare it against a commercial state-of-the-art solution. Our technique (RMSE 1.8cm) outperforms the commercial solution (RMSE 4.7cm) in precision by a factor of x2.6 and improves machine usage by leveraging the maximum function pressure, as opposed to commercial solutions that stall prematurely.

애니마트로닉 얼굴은 사회적으로 상호작용하는 로봇의 핵심 구성 요소로, 얼굴 관절을 통해 풍부한 비언어적 의사소통을 가능하게 합니다. 그러나 최첨단 애니마트로닉 얼굴은 일반적으로 맞춤형 시스템입니다. 각각의 새로운 얼굴 형상에는 광범위한 수동 기계적 재설계가 필요하므로 대규모 개인화는 엄청나게 느리고 비용이 많이 듭니다. 이 작업에서 우리는 특정 얼굴에 대해 물리적으로 실현 가능한 얼굴 메커니즘을 신속하게 생성하는 것을 목표로 자동화되고 확장 가능한 기계적 얼굴 합성을 추구합니다. 다양한 얼굴 형태에 걸쳐 체계적인 크기 조정 및 대상 변경을 지원하기 위해 토폴로지 및 액추에이터 레이아웃이 명시적으로 매개변수화되는 파라메트릭 연결 기반 기계 얼굴 템플릿을 소개합니다. 이 템플릿을 기반으로 단일 2D 초상화를 입력으로 사용하고 대상 3D 얼굴을 재구성하며 충돌 없는 제조 가능한 내부 메커니즘을 합성하는 계층적 자동 디자인 알고리즘을 제안합니다. 이 알고리즘은 해부학 기반의 실행 가능한 모션 볼륨, AU에서 파생된 궤적 기반 표현 목표 및 충돌 기반 외부 루프 개선 전략을 결합합니다. 하드웨어 합성 외에도 대규모로 배치되는 미래의 기계 얼굴은 말하고 듣는 머리로만 기능하는 것이 아니라 양방향, 다단계 대화에 참여해야 한다고 주장합니다. 이를 위해 우리는 오디오에서 말하기 및 듣기 동작을 공동으로 모델링하여 물리적 실행에 적합한 시간적으로 일관된 3D 얼굴 동작을 생성하는 이중 ID 대화형 얼굴 동작 합성 프레임워크를 개발합니다. 우리는 (i) 다양한 얼굴 형상에 걸친 자동 메커니즘 합성의 정량적 평가, (ii) 수동 기계 설계와의 비교, (iii) 대화형 얼굴 동작 합성 및 실시간 배포에 대한 벤치마크, (iv) 지각적 사용자 연구를 포함한 광범위한 실험을 통해 시스템을 검증합니다. 전체 하드웨어 설계, 코드 및 데이터 세트가 공개됩니다.

Animatronic faces are a central component of socially interactive robots, enabling rich nonverbal communication through facial articulation. However, state-of-the-art animatronic faces are typically tailored systems: each new facial geometry requires extensive manual mechanical redesign, making large-scale personalization prohibitively slow and costly. In this work, we pursue automated and scalable mechanical face synthesis, aiming to rapidly generate a physically realizable facial mechanism for any given face. We introduce a parametric, linkage-driven mechanical face template whose topology and actuator layout are explicitly parameterized to support systematic scaling and retargeting across diverse facial morphologies. Building on this template, we propose a hierarchical automatic design algorithm that takes a single 2D portrait as input, reconstructs a target 3D face, and synthesizes a collision-free, manufacturable internal mechanism. The algorithm combines anatomy-guided feasible motion volumes, AU-derived trajectory-based expressiveness objectives, and a collision-driven outer-loop refinement strategy. Beyond hardware synthesis, we argue that future mechanical faces deployed at scale must engage in bidirectional, multi-turn conversation, rather than functioning solely as speaking or listening heads. To this end, we develop a dual-identity conversational facial motion synthesis framework that jointly models speaking and listening behaviors from audio, producing temporally coherent 3D facial motion suitable for physical execution. We validate our system through extensive experiments, including (i) quantitative evaluation of automatic mechanism synthesis across diverse facial geometries, (ii) comparisons against manual mechanical design, (iii) benchmarks on conversational facial motion synthesis and real-time deployment, and (iv) perceptual user studies. The entire hardware design, code, and datasets will be released.

우리의 작업은 실제 인간-로봇 상호 작용을 위한 기본 모델의 사회적 추론 기능에 중점을 둡니다. 우리는 400개의 실제 인간-로봇 상호 작용 비디오와 10,000개 이상의 주석으로 구성된 대규모 벤치마크인 SHREC(Social Human Robot Embodied Conversation) 데이터 세트를 소개하고 로봇의 사회적 오류, 역량, 근본적인 근거 및 수정 사항을 포착합니다. 인간과 인간의 상호 작용에 초점을 맞춘 이전 데이터 세트와 달리 SHREC 데이터 세트는 로봇이 감정 이해, 의도 추적, 대화 메커니즘과 같은 타고난 사회적 능력이 부족한 실제 구현 소셜 AI 에이전트가 직면한 문제를 독특하게 강조합니다. 더욱이 현재의 기초 모델은 미묘한 사회적 실패로 나타나는 이러한 결함을 인식하는 데 어려움을 겪고 있습니다. AI 모델의 사회적 추론 능력을 평가하기 위해 우리는 (1) 사회적 오류 및 역량 감지, (2) 기본 사회적 속성 식별, (3) 상호 작용 흐름 이해, (4) 근거 및 대안적인 올바른 조치 제공과 같은 중요한 영역을 대상으로 하는 8가지 벤치마크 작업을 정의합니다. 인간의 평가와 함께 최첨단 기본 모델을 사용한 실험은 상당한 성능 격차를 드러내어 사회적으로 지능적인 AI 개발의 어려움을 강조하고 방향을 제시합니다.

Our work focuses on the social reasoning capabilities of foundational models for real-world human–robot interactions. We introduce the Social Human Robot Embodied Conversation (SHREC) Dataset, a large-scale benchmark of 400 real-world human-robot interaction videos and over 10K annotations, capturing robot social errors, competencies, underlying rationales, and corrections. Unlike prior datasets focused on human–human interactions, the SHREC Dataset uniquely highlights the challenges faced by real-world embodied social AI agents, where robots lack innate social abilities such as emotion understanding, intention tracking, and conversational mechanics. Moreover, current foundational models struggle to recognize these deficits, which manifest as subtle, socially situated failures. To evaluate AI models’ capacity for social reasoning, we define eight benchmark tasks targeting critical areas such as (1) detection of social errors and competencies, (2) identification of underlying social attributes, (3) comprehension of interaction flow, and (4) providing rationale and alternative correct actions. Experiments with state-of-the-art foundational models, alongside human evaluations, reveal substantial performance gaps—underscoring the difficulty and providing directions in developing socially intelligent AI.

로봇 안내견은 시각 장애인의 독립적인 이동성을 크게 확장하는 탐색 보조 기능을 제공하지만, 이를 효과적으로 사용하려면 사용자가 일반적인 구두 지침으로는 배우기 어려운 인간-로봇 간의 미묘한 조정이 필요합니다. 이러한 과제를 해결하기 위해 우리는 맞춤형 적응형 언어 피드백을 통해 로봇 안내견과 함께 대화형 탐색을 수행할 수 있도록 사용자를 교육하는 자동화된 코칭 시스템인 CANINE을 선보입니다. CANINE은 복잡한 조정 작업을 하위 기술로 분해하고 두 가지 수준으로 작동합니다. 높은 수준에서는 지식 추적을 사용하여 하위 기술 전반에 걸쳐 학습자의 숙련도를 추적하고 가장 취약한 영역의 교육 우선순위를 지정하여 무엇을 교육할지 결정합니다. 낮은 수준에서 CANINE은 각 인간 연습 에피소드를 관찰하고, 기초 모델을 사용하여 오류의 근본 원인을 추론하고, 목표 언어 수정을 적응적으로 생성함으로써 각 하위 기술을 훈련하는 방법을 결정합니다. 눈을 가린 참가자를 대상으로 한 통제 연구에서는 CANINE이 일반적인 구두 지시에 비해 학습 효율성과 최종 성과를 크게 향상시키는 것으로 나타났습니다. 우리는 (i) 2주 후에도 지속적인 기술 향상을 보여주는 유지 연구와 (ii) 시각 장애가 있는 사용자를 대상으로 한 사례 연구를 통해 CANINE을 추가로 검증합니다. 두 연구 모두 대조 연구 결과와 일치하며 실제 배포를 위한 추가적인 설계 고려 사항을 보여줍니다.

Robot guide dogs offer navigation assistance that will greatly expand the independent mobility of the visually impaired, but their effective use requires subtle human-robot coordination that is difficult for users to learn from generic verbal instructions. To tackle the challenge, we present CANINE, an automated coaching system that trains users for interactive navigation with a robot guide dog, through personalized, adaptive verbal feedback. CANINE decomposes a complex coordination task into sub-skills and operates at two levels. At the high level, it decides what to train by tracking the learner’s proficiency across sub-skills using knowledge tracing and prioritizing training in the weakest areas. At the low level, CANINE decides how to train each sub-skill by observing each human practice episode, using foundation models to infer the underlying causes of errors, and generating targeted verbal corrections adaptively. A controlled study with blindfolded participants demonstrates that CANINE significantly improves both learning efficiency and final performance, compared to generic verbal instructions.We further validate CANINE through (i) a retention study showing lasting skill improvement after two weeks and (ii) a case study with a visually impaired user. Both studies align with the controlled study’s findings, while revealing additional design considerations for real-world deployment.

로봇은 사람들이 하는 일과 말하는 것 모두에서 배워야 하지만 두 가지 방식 중 하나만으로는 불완전한 경우가 많습니다. 물리적 수정은 근거가 있지만 의도가 모호한 반면, 언어는 높은 수준의 목표를 표현하지만 물리적 기반이 부족합니다. 물리적 피드백과 언어 피드백을 융합하여 보상 기능을 실시간으로 추론하는 베이지안 프레임워크인 QuickLAP: Quick Language-Action Preference 학습을 소개합니다. 우리의 핵심 통찰력은 언어를 사용자의 잠재 선호도에 대한 확률론적 관찰로 취급하여 어떤 보상 기능이 중요한지, 물리적 수정을 어떻게 해석해야 하는지 명확히 하는 것입니다. QuickLAP은 LM(언어 모델)을 사용하여 폐쇄형 업데이트 규칙의 물리적 피드백과 결합된 자유 형식 발언에서 보상 기능 주의 마스크 및 선호도 변화를 추출합니다. 이를 통해 모호한 피드백을 처리하는 빠르고 강력한 실시간 보상 학습이 가능합니다. 로봇 조작 및 반자율 주행 시뮬레이터에서 QuickLAP은 물리적 전용 및 경험적 다중 모달 기준에 비해 보상 학습 오류를 70% 이상 줄입니다. 사용자 연구는 우리의 접근 방식을 더욱 검증합니다. 참가자들은 QuickLAP이 훨씬 더 이해하기 쉽고 협력적이라는 사실을 발견했으며 기준선보다 학습된 동작을 선호했습니다. 코드는 [수정됨]에서 확인할 수 있습니다.

Robots must learn from both what people do and what they say, but either modality alone is often incomplete: physical corrections are grounded but ambiguous in intent, while language expresses high-level goals but lacks physical grounding. We introduce QuickLAP: Quick Language–Action Preference learning, a Bayesian framework that fuses physical and language feedback to infer reward functions in real time. Our key insight is to treat language as a probabilistic observation over the user’s latent preferences, clarifying which reward features matter and how physical corrections should be interpreted. QuickLAP uses Language Models (LMs) to extract reward feature attention masks and preference shifts from free-form utterances that are combined with physical feedback in a closed-form update rule. This enables fast, real-time, and robust reward learning that handles ambiguous feedback. In a robotic manipulation and a semi-autonomous driving simulator, QuickLAP reduces reward learning error by over 70% compared to physical-only and heuristic multimodal baselines. User studies further validate our approach: participants found QuickLAP significantly more understandable and collaborative, and preferred its learned behavior over baselines. Code is available at [redacted]