APRL 연구철학

경험이 행동이 되고, 행동이 다시 이해가 되는 과정

APRL은 경험이 어떻게 신뢰할 수 있는 행동이 되고, 행동의 결과가 어떻게 더 나은 이해로 되돌아오는지를 연구한다.

APRL studies how experience becomes reliable action - and how action becomes better understanding.

이 문장은 APRL의 연구를 하나의 정적인 대상이 아니라 순환하는 과정으로 정의한다. APRL이 다루는 핵심 대상은 지도 자체도, 특정 센서도, 특정 로봇 플랫폼도 아니다. 핵심 대상은 변화하는 세계에서 로봇이 공간적 이해를 형성하고, 과거의 경험을 현재의 판단에 사용하고, 인간의 의도를 해석하고, 물리적으로 행동한 뒤, 그 결과를 새로운 증거로 받아들여 자신의 이해를 수정하는 전체 과정이다.

이 정의 아래에서 place recognition, lifelong localization, heterogeneous mapping, spatial memory, vision-language navigation, implicit instruction, runtime reasoning, failure detection, recovery, multi-robot knowledge transfer는 서로 분리된 연구목록이 아니다. 이들은 경험을 행동으로 전환하고 행동을 다시 이해로 환류하기 위해 필요한 서로 다른 단계이다.

선행 읽기 안내 · 이 문서가 전제로 삼는 APRL 자료

이 문서는 아래 자료에 이미 제시된 비전·연구축·연구사례를 다시 소개하기보다, 그것들이 왜 하나의 연구 프로그램을 이루는지를 설명한다. 처음 읽는 독자는 1-3을 먼저 읽고, 관심 주제에 따라 4-6을 참고한 뒤 본문을 읽는 것을 권한다.

  1. APRL Research현재 비전과 연구 관심사의 허브. 5-Year Research Statement, AIMS 자료, 초청강연 자료도 이 페이지에서 연결된다.
  2. APRL Research VisionPersistent, Intent-Grounded, Resilient의 정의와 로보틱스 연구의 목적을 설명한다.
  3. Situated Spatial IntelligenceGSI, RGP, ASM, CSI, ESI의 다섯 연구축과 SSI 폐루프를 설명한다.
  4. Spatial Experience & Memorymap, experience, memory, task relevance, action-outcome의 관계를 전개한다.
  5. VLA Runtime Harnessing학습된 모델과 runtime reasoning·verification·recovery의 관계를 다룬다.
  6. APRL PublicationsScan Context부터 장기기억과 implicit-goal navigation까지의 연구 계보를 확인하는 자료다.
용어 기준 · GSI: Geometric Spatial Intelligence · RGP: Reality-Grounded Perception · ASM: Agentic Spatial Memory · CSI: Communicative Spatial Intelligence · ESI: Executable Spatial Intelligence · SSI: Situated Spatial Intelligence

이 글의 목적과 구성

이 글은 APRL의 연구분야를 홍보용 키워드로 요약하는 문서가 아니다. 지난 연구의 흐름과 현재의 연구계획을 하나의 논리적 구조로 읽기 위한 교재형 설명이다. 핵심 질문은 세 가지이다.

  1. APRL은 지난 연구에서 어떤 문제를 반복적으로 확장해 왔는가?
  2. 그 문제들을 하나로 묶는 공간지능의 정의는 무엇인가?
  3. 그 정의에서 memory, human intent, runtime reasoning, resilience, multi-robot sharing이 왜 필연적으로 도출되는가?

전체 논증은 다음 순서로 진행된다.

제1장. APRL의 중심 문제는 세 개의 형용사보다 깊다

1쪽의 선행 읽기 자료 가운데 APRL Research Vision은 현재의 연구비전을 Persistent / Intent-Grounded / Resilient로 정리한다. 지속성은 시간과 환경 변화 속에서 지식을 유지하는 능력을, 의도 기반성은 인간의 목적을 판단 기준으로 삼는 능력을, 회복탄력성은 오류와 실패 이후에도 임무를 지속하는 능력을 뜻한다. 이 세 성질은 중요하지만, 그 자체만으로는 APRL의 연구 프로그램을 충분히 구별하지 못한다.

복잡하고 동적인 환경에서의 자율운용, 장기 불확실성 아래의 의사결정, 인간과의 정렬, 강건한 지각과 내비게이션은 여러 우수 로보틱스 연구실이 공유하는 목표이다. 따라서 차별성은 특정 형용사의 소유권에 있지 않다. APRL의 차별성은 이 목표들을 어떤 연구대상과 어떤 인과관계 아래 조직하는가에 있다.

APRL 자료를 시간축으로 배열하면, 개별 기술 아래에 일관된 문제가 나타난다.[9] 로봇은 세계를 한 번 정확히 표현하는 것으로 충분하지 않다. 로봇은 불완전한 관측으로 이해를 만들고, 그 이해가 언제 유효한지 판단하고, 과거 경험 가운데 현재 임무에 필요한 것을 선택하며, 인간의 의도에 맞추어 행동하고, 행동의 결과를 통해 다시 자신의 이해를 고쳐야 한다.

따라서 APRL의 중심 문제는 다음과 같이 정의할 수 있다.

공간지능은 경험을 신뢰할 수 있는 행동으로 전환하고, 행동의 결과를 더 나은 이해로 환류하는 능력이다.

이 정의에서 Persistent, Intent-Grounded, Resilient는 독립적인 표어가 아니라 하나의 순환을 성립시키기 위한 필수조건이 된다. 경험이 오래 유지되지 않으면 현재의 행동에 사용할 수 없고, 인간의 의도와 정렬되지 않으면 어떤 정보가 중요한지 결정할 수 없으며, 실패 이후에 이해를 수정하지 못하면 행동의 결과가 다음 경험으로 축적되지 않는다.

1.1 연구분야 목록과 연구철학의 차이

Situated Spatial Intelligence 자료는 APRL의 연구축을 GSI (Geometric Spatial Intelligence), RGP (Reality-Grounded Perception), ASM (Agentic Spatial Memory), CSI (Communicative Spatial Intelligence), ESI (Executable Spatial Intelligence)로 분류한다. 이 taxonomy는 연구영역을 설명하는 데 유용하지만, 각 항목이 왜 한 연구실 안에 함께 있어야 하는지를 자동으로 설명하지는 않는다. 처음 방문한 사람은 이를 geometry, lifelong mapping, HRI, embodied AI를 병렬적으로 수행하는 연구실로 읽을 수 있다.

연구철학은 목록보다 한 단계 아래의 생성원리를 제시해야 한다. APRL의 경우 그 생성원리는 다음의 폐루프이다.

Model Space → Ground Reality → Remember Experience → Align Intent → Execute and Verify → Revise Understanding

각 연구축은 이 폐루프의 한 기능을 담당한다. 따라서 연구분야는 임의로 모인 기술의 집합이 아니라, 살아 있는 공간적 이해를 구현하기 위해 논리적으로 요구되는 구성요소가 된다.

제2장. 연구 계보: 지도에서 경험으로

APRL의 연구철학은 최근에 만든 서사를 과거 연구에 소급해 붙인 것이 아니다. 주요 연구를 시간순으로 읽으면, 장소를 알아보는 문제에서 시작하여 경험을 보존하고, 이질적인 경험을 통합하고, 인간의 목적에 맞는 경험을 선택하고, 행동의 결과로 다시 수정하는 문제로 범위가 확장되어 왔음을 확인할 수 있다.[2]

2.1 Scan Context: 장소를 다시 알아보는 문제

Scan Context의 핵심 질문은 로봇이 이미 방문한 장소를 다시 만났을 때 이를 어떻게 인식할 것인가이다. 이 문제는 단순한 기하학적 정합보다 넓다. 현재 관측과 과거 관측 사이에서 유지되는 구조를 찾아야 하며, 로봇은 현재의 경험을 이전 경험과 연결할 수 있어야 한다.

장소 재인식은 경험 기반 공간지능의 가장 기초적인 기능이다. 현재의 관측이 과거의 어느 경험과 관련되는지 알 수 없다면, 장기기억도 경험의 재사용도 성립하지 않는다.

2.2 1-Day Learning과 1-Year Localization: 시간 변화의 문제

하루 동안 학습한 표현을 1년 뒤에도 사용할 수 있는가라는 질문은 장소 인식을 장기운용의 문제로 확장한다. 계절, 조명, 구조물, 동적 객체가 변한 뒤에도 동일한 장소라는 관계를 식별하려면, 로봇은 관측의 표면적 차이와 장소의 지속적 정체성을 구분해야 한다.

이 단계에서 지도는 단일 시점의 정확한 복사본이 될 수 없다. 장기 위치추정은 무엇이 변했고 무엇이 유지되는지를 학습하고 판단하는 문제이다.

2.3 LT-Mapper: 여러 시점의 세계를 함께 유지하는 문제

LT-Mapper는 서로 다른 시간에 관측된 세계를 하나의 고정 지도에 강제로 압축하기보다, 시간에 따른 상태와 변화를 함께 다루는 방향을 제시한다. 이는 mapping을 단일 결과물 생성에서 장기적인 상태 관리로 확장한다.

로봇이 변화하는 환경에서 지속적으로 작동하려면, 과거의 상태를 삭제하거나 현재 상태로 덮어쓰는 것만으로는 부족하다. 언제 어떤 상태가 관측되었는지, 그 차이가 일시적인지 구조적인지, 현재 임무에는 어느 상태가 관련되는지를 판단할 수 있어야 한다.

2.4 HeLiPR: 이질적인 센서 경험을 연결하는 문제

서로 다른 LiDAR와 플랫폼은 동일한 공간을 서로 다른 해상도, 시야, 노이즈 특성으로 경험한다. HeLiPR의 문제는 단순한 센서 변환이 아니라 이질적인 경험 사이에 공통의 공간적 관계를 구성하는 것이다.

이 문제는 이후 다중 로봇 경험공유의 기반이 된다. 경험은 센서와 몸체로부터 독립된 순수한 정보가 아니기 때문에, 경험의 출처와 관측조건을 고려한 연결이 필요하다.

2.5 ScaleMaster와 MR.ScaleMaster: 여러 시각 경험을 metric world로 통합하는 문제

단안 시각 경험은 각 시퀀스가 서로 다른 scale ambiguity를 가질 수 있다. 여러 경험을 하나의 metric world로 통합하려면 각 경험의 내부 구조뿐 아니라 경험 사이의 척도와 관계를 함께 추론해야 한다.

이 연구는 foundation geometry를 단일 영상의 재구성 문제에서 여러 경험의 일관된 통합 문제로 확장한다. 중요한 것은 한 번의 관측에서 가능한 한 많은 geometry를 얻는 것만이 아니라, 서로 다른 관측에서 만들어진 부분적 이해를 어떻게 하나의 행동 가능한 세계모델로 결합하는가이다.

2.6 LT-Mem: 어떤 과거를 현재에 사용할 것인가

기억이 많아질수록 검색의 문제는 더 어려워진다. 가장 비슷한 과거 경험이 현재의 의사결정에 가장 유용한 경험이라는 보장은 없다. LT-Mem이 제기하는 핵심 문제는 현재 상황에서 어떤 기억을 신뢰하고 사용할 것인가이다.

여기서 장기기억은 단순한 저장소가 아니다. 경험의 최신성, 조건, 성공과 실패, 현재 관측과의 일치, 예상되는 행동가치가 함께 고려되어야 하는 의사결정 구성요소이다.

2.7 Implicit Goal과 VLN: 인간 의도에 관련된 경험을 선택하는 문제

최근의 implicit goal navigation과 vision-language navigation은 공간기억의 검색 조건에 인간의 의도를 도입한다. 인간의 지시는 완전한 좌표나 명시적 목표로 주어지지 않을 수 있다. 로봇은 언어에 포함된 상황, 선호, 제약을 해석하고, 그 의도에 관련된 공간경험을 찾아야 한다.

이 단계에서 APRL의 연구는 장소를 인식하고 지도를 유지하는 문제에서, 인간이 원하는 물리적 결과를 만들기 위해 어떤 공간적 지식을 사용할 것인가의 문제로 확장된다.

2.8 Experience 2.0과 SSI로의 수렴

2024년 연구계획은 SLAM을 pose와 map을 추정하는 도구에 한정하지 않고 Automated Experience Reconstruction Machine으로 재해석했다. 또한 하나의 journey를 넘어 여러 로봇, 센서, 시간에서 생성된 경험을 결합하는 Experience 2.0을 연구대상으로 제시했다.

이후의 spatial memory, implicit human intent, runtime verification and recovery, Situated Spatial Intelligence는 이 방향을 더욱 일반화한다. 지난 연구의 계보는 다음과 같이 요약할 수 있다.

Place Recognition → Lifelong Localization → Multi-Temporal Mapping → Heterogeneous Experience → Metric Integration → Spatial Memory → Human Intent → Runtime Verification and Recovery → Situated Spatial Intelligence

이 계보를 관통하는 대상은 map이 아니라 experience의 형성, 연결, 선택, 실행, 수정이다.

제3장. 지도, 경험, 기억, 믿음

APRL의 공간지능을 이해하려면 지도, 경험, 기억, 믿음을 구분해야 한다. 네 개념은 서로 연결되지만 동일하지 않다.

3.1 지도는 공간정보의 압축이다

지도는 주로 어디에 무엇이 있는지를 표현한다. 위치, 형상, 연결관계, 의미 범주, 통행 가능성 등을 구조화하여 계획과 위치추정에 사용한다. 지도는 로봇의 공간적 판단에 필수적이지만, 실제 세계 전체를 그대로 포함하지는 않는다.

지도에는 관측되지 않은 영역, 센서 오차, 시간 변화, 표현과정의 생략이 존재한다. 또한 동일한 공간도 임무에 따라 필요한 정보가 다르다. 따라서 지도는 세계 자체가 아니라 특정 목적과 관측조건 아래 구성된 모델이다.

3.2 경험은 조건, 행동, 결과를 포함한다

경험은 지도보다 넓다. 경험은 무엇을 보았는지뿐 아니라, 언제 어떤 센서와 몸체로 관측했는지, 어떤 목적을 가지고 무엇을 했는지, 그 행동이 성공했는지 실패했는지, 어떤 비용과 위험이 발생했는지를 포함한다.[4]

예를 들어 “이 위치에 문이 있다”는 정보는 지도에 포함될 수 있다. 그러나 “평일 오전에는 열려 있었고, 특정 크기의 로봇은 통과할 수 있었으며, 최근 시도에서는 잠겨 있어 우회가 필요했다”는 정보는 경험의 구조에 가깝다.

3.3 기억은 경험을 현재 판단에 사용할 수 있게 하는 구조다

기억은 과거 경험의 단순한 보관이 아니다. 현재 상황에 관련된 경험을 검색하고, 신뢰도를 평가하고, 행동결정에 사용할 수 있도록 구성된 시스템이다. 기억의 품질은 저장된 항목의 수나 recall accuracy만으로 평가할 수 없다.

궁극적인 평가 질문은 그 기억을 사용했기 때문에 현재의 행동이 더 좋아졌는가이다. 즉 기억은 perception의 부속 데이터베이스가 아니라 action quality를 개선하는 의사결정 장치이다.

3.4 믿음은 현재 사용할 수 있는 잠정적 이해다

로봇은 현재 관측, 과거 경험, 학습된 prior를 결합하여 세계에 대한 믿음을 형성한다. 믿음은 확정된 사실이 아니라 현재의 증거 아래 가장 타당하다고 판단되는 상태이다. 새로운 관측이나 행동 결과가 들어오면 믿음은 수정되어야 한다.

이 지점에서 다음 문장이 의미를 가진다.

The map is a hypothesis, not the truth.

그러나 이 문장은 APRL의 최종 정의가 아니라 왜 순환적 공간지능이 필요한가를 설명하는 인식론적 동기이다. 지도가 가설이기 때문에 로봇은 신뢰도를 확인해야 하고, 기억을 조건부로 사용해야 하며, 행동으로 검증하고, 결과에 따라 수정해야 한다.

3.5 어떤 장소를 안다는 것

장소를 안다는 것은 geometry를 재구성했다는 뜻만으로 충분하지 않다. 장기간 실제 환경에서 장소를 안다고 말하려면 로봇은 최소한 다음 질문에 답할 수 있어야 한다.

이 정의는 lifelong mapping을 넘어선다. 목표는 오래 유지되는 지도를 만드는 데 그치지 않고, 오래 축적된 경험을 현재의 행동에 적절히 사용하는 것이다.

제4장. 공간적 이해의 생애주기

APRL의 연구 프로그램은 공간적 이해가 생성되고 사용되고 수정되는 생애주기로 정리할 수 있다.[3]

4.1 Construct: 불완전한 관측으로 이해를 구성한다

로봇은 센서관측으로부터 geometry, object, place, relation, affordance를 추론한다. 관측은 부분적이며 센서와 시점에 의존하므로, 구성된 이해는 처음부터 불확실성을 포함한다.

4.2 Ground and Verify: 모델을 현실에 접지한다

구성된 모델이 현재의 현실과 일치하는지 확인해야 한다. 이 과정에는 localization, data association, loop closure, change detection, cross-sensor alignment, confidence estimation이 포함된다.

4.3 Remember and Update: 경험을 시간에 걸쳐 유지한다

로봇은 모든 관측을 동일한 방식으로 저장할 수 없다. 무엇을 보존할지, 어떤 경험을 병합할지, 상충하는 경험을 어떻게 유지할지, 낡은 정보를 언제 갱신할지를 결정해야 한다.

4.4 Query and Select: 현재 판단에 필요한 경험을 선택한다

검색의 기준은 단순한 유사도가 아니다. 현재 과업, 위험, 정보의 최신성, 예상 행동가치, 인간의 의도를 바탕으로 경험을 선택해야 한다.

4.5 Align and Communicate: 인간의 의도와 공간지식을 연결한다

인간의 언어는 좌표로 완전하게 주어지지 않는다. 로봇은 표현되지 않은 선호와 제약을 해석하고, 불확실성이 클 때에는 질문을 통해 의도를 명확히 해야 한다.

4.6 Execute: 이해를 물리적 결과로 전환한다

공간적 이해는 planning, navigation, manipulation, interaction을 통해 실제 행동이 된다. 이 단계에서 센서, 컴퓨팅, 몸체, 동역학, 안전제약이 결합된다.

4.7 Verify and Revise: 행동 결과로 이해를 수정한다

행동의 성공, 실패, 비용, 예상과 실제의 차이는 새로운 증거이다. 로봇은 이 증거를 사용하여 지도, 기억, 믿음, 계획전략을 수정한다.

전체 구조는 다음과 같다.

World → Observation → Experience → Memory → Belief → Intent → Action → Outcome → Belief and Memory Revision

이 구조에서 공간지능은 representation이 아니라 지속적으로 실행되는 epistemic control loop이다.

제5장. 지식은 과업 의존적이다

APRL의 중요한 명제 중 하나는 좋은 world model이 세계를 가장 자세하게 표현한 모델과 동일하지 않다는 것이다. 좋은 world model은 현재의 목적에 필요한 정보를 올바르게 보존하고, 적절한 시점에 검색하고, 신뢰도를 평가하여 행동에 사용할 수 있는 모델이다.

5.1 동일한 공간, 서로 다른 지식

동일한 건물도 가정지원, 병원 안내, 배송, 구조 임무에서 요구되는 정보가 다르다. 가정지원 로봇은 사용자 선호와 생활패턴을, 병원 안내 로봇은 접근성·혼잡도·운영시간을, 배송 로봇은 통행 가능성과 시간비용을, 구조 로봇은 위험지역과 생존 가능성을 우선할 수 있다.

세계에 관한 모든 정보를 동일한 수준으로 저장하고 처리하는 것은 계산적으로 비효율적일 뿐 아니라 판단에도 도움이 되지 않는다. 과업은 무엇을 관측하고, 기억하고, 검색하고, 검증할지를 결정한다.

5.2 Semantic similarity와 decision relevance

과거 경험을 검색할 때 언어적 또는 시각적 유사성은 유용하지만 충분하지 않다. 현재 판단에 필요한 것은 의미적으로 비슷한 기록보다 행동결정에 관련된 기록일 수 있다.[4]

Decision relevance는 다음 요소를 포함할 수 있다.

따라서 APRL의 질문은 “세계의 참된 표현은 무엇인가?”에서 “이 agent가 지금 올바르게 행동하기 위해 무엇을 알아야 하는가?”로 이동한다. 이는 공간지능에 대한 실용주의적 정의이다.

5.3 기억의 최종 평가지표

기억 시스템을 평가할 때 retrieval accuracy만 높이는 것은 충분하지 않다. 검색된 기억이 잘못된 계획을 유도하거나 낡은 경로를 추천한다면 높은 recall은 좋은 행동으로 이어지지 않는다.

기억의 최종 성능은 다음과 같은 행동수준 지표와 연결되어야 한다.

이 관점에서 memory는 과거를 잘 재현하는 능력이 아니라 현재와 미래의 행동을 개선하는 능력이다.

제6장. 행동은 이해를 검증하는 수단이다

전통적인 파이프라인은 perception, reasoning, action을 순차적으로 배치한다. 이 구조에서 action은 이미 완성된 인식과 추론의 결과처럼 보인다.

Perception → Reasoning → Action

그러나 실제 환경에서 행동은 이해를 사용하는 단계인 동시에 이해를 시험하는 단계이다.

Perception → Belief → Action → Outcome → Belief Revision

6.1 행동결과가 증거가 되는 이유

로봇이 기억을 바탕으로 문이 열려 있다고 판단하고 그 경로를 선택했다고 가정하자. 현장에서 문이 열리지 않는다면 이는 단순히 navigation module의 실패가 아니다. 로봇이 사용한 세계모델의 특정 belief가 더 이상 유효하지 않다는 증거이다.

로봇은 이 결과로부터 여러 가설을 구분해야 한다. 문이 일시적으로 잠긴 것인지, 운영시간이 바뀐 것인지, localization이 잘못된 것인지, 다른 문을 동일한 장소로 인식한 것인지, 자신의 몸체로만 통과할 수 없는 것인지를 판단해야 한다.

6.2 과학적 행위자로서의 로봇

이 구조에서 로봇의 작동은 다음과 같은 순환에 가깝다.

Hypothesize → Act → Test → Revise

로봇은 현재의 증거로 가설을 세우고, 행동을 통해 가설을 시험하고, 결과를 이용해 이해를 수정한다. 행동은 perception의 downstream에만 존재하지 않고, 새로운 perception을 생성하는 능동적 실험이다.

6.3 실패기록의 의미

실패는 제거해야 할 로그가 아니라 경험의 중요한 일부이다. 어떤 조건에서 어떤 계획이 실패했는지 보존하면 다음 행동에서 동일한 비용을 반복하지 않을 수 있다. 성공과 실패의 조건을 함께 기억할 때 공간기억은 단순한 장면기억에서 행동가능성에 관한 지식으로 발전한다.

제7장. Resilience는 robustness보다 넓다

Robustness는 주어진 교란과 불확실성 아래에서 성능저하와 실패 가능성을 줄이는 능력이다. Resilience는 실패가 이미 발생했거나 기존 가정이 무너진 뒤에도 상태를 진단하고 전략을 수정하여 임무를 계속 수행하는 능력이다.[5]

7.1 회복탄력적 시스템의 단계

회복탄력적 로봇은 다음 기능을 순환적으로 수행해야 한다.

  1. Detect: 자신의 불확실성, 오류, 실패를 감지한다.
  2. Diagnose: 실패의 원인과 영향범위를 추정한다.
  3. Acquire: 필요한 정보를 다시 관측하거나 인간에게 질문한다.
  4. Replan: 믿음, 기억, 계획, 행동전략을 수정한다.
  5. Resume: 수정된 전략으로 임무를 계속한다.
  6. Learn: 이번 결과를 다음 판단에 사용할 경험으로 보존한다.

이 순환은 단순한 exception handling이 아니다. 실패를 지식갱신의 계기로 사용하는 인식론적 과정이다.

7.2 실패하지 않는 시스템과 실패를 다루는 시스템

어떤 학습모델도 개방세계에서 발생할 모든 센서고장, 환경변화, 인간의 모호한 지시, 예외적 물리상황을 사전에 포함할 수 없다. 따라서 실제 자율성의 핵심은 실패를 완전히 없애는 것이 아니라, 실패를 감지하고 이해하고 회복하는 능력에 있다.

APRL에서 resilience가 중요한 이유는 persistent와 intent-grounded를 실제 운용으로 연결하기 때문이다. 오래된 기억을 무조건 신뢰하면 persistence는 위험해지고, 모호한 의도를 확인하지 않으면 intent grounding은 잘못된 행동으로 이어질 수 있다. Resilience는 지속성과 의도정렬을 안전하게 운용하기 위한 실행구조이다.

제8장. 지능은 학습된 가중치 안에만 존재하지 않는다

현대 embodied AI와 VLA 연구는 대규모 데이터, foundation model, imitation learning, reinforcement learning을 통해 더 많은 행동능력을 모델에 내재화한다. 이 접근은 강력하지만, 실제 로봇의 모든 상황과 실패를 사전에 weight 안에 compile할 수 있다는 뜻은 아니다.

8.1 Prior와 runtime evidence

학습된 모델은 세계와 행동에 관한 prior를 제공한다. 그러나 실제 배치에서는 현재 센서관측, 과거 경험, 인간의 지시, 시스템상태, 행동결과가 계속 들어온다. 로봇은 prior와 runtime evidence를 결합해 현재의 belief를 형성해야 한다.

2024년 연구계획에서 로봇지능을 prior와 runtime sensor evidence의 Bayesian update로 본 관점은 현재의 memory, reasoning, verification, interaction, recovery로 확장될 수 있다.

8.2 Runtime harnessing의 의미

Planner, memory, verifier, uncertainty detector가 더 큰 end-to-end model이 등장하면 사라질 임시 보조장치라고 단정할 수 없다. 개방세계에서는 이 기능들을 실행 시점에 조율하는 구조 자체가 지능의 일부일 수 있다.[6]

이를 개념식으로 표현하면 다음과 같다.

Intelligence = Learned Prior + Current Observation + Experience + Runtime Deliberation + Verification

이 식은 각 항을 단순히 더한다는 수학적 모델이 아니다. 실제 지능이 학습된 모델과 실행과정의 결합으로 존재한다는 구조적 명제이다.

8.3 모델의 능력과 시스템의 능력

모델은 인식, 예측, 언어이해, 행동생성 능력을 제공한다. 그러나 시스템은 언제 모델을 신뢰할지, 어떤 기억을 검색할지, 언제 계획을 세울지, 무엇을 검증할지, 언제 인간에게 질문할지, 실패 뒤 어떻게 회복할지를 결정한다.

따라서 APRL의 관심은 더 좋은 모델을 만드는 문제와 모델의 능력을 실제 환경에서 신뢰할 수 있는 행동으로 조직하는 문제를 함께 포함한다.

제9장. 인간은 relevance를 결정한다

APRL에서 인간은 단순한 명령 입력장치나 사용자 인터페이스가 아니다. 인간의 의도는 로봇이 축적한 공간지식 가운데 무엇이 현재 중요한지를 결정하는 조건이다.

9.1 언어이해에서 공간 의사결정으로

“다리가 좀 아픈데 다른 층에 가야 한다”는 발화를 생각해 보자. 이 문장은 목표좌표를 직접 제공하지 않는다. 그러나 로봇은 다음 사항을 추론해야 한다.

이 문제는 NLP만으로 해결되지 않는다. 언어, 공간기억, 현재 관측, 인간상태, 이동가능성, 불확실성 해소가 결합된 spatial decision problem이다.

9.2 언어의 역할

APRL에서 language는 spatial intelligence를 query하고 constrain하는 인터페이스로 볼 수 있다. 인간의 표현은 어떤 기억을 검색할지, 어떤 경로를 피할지, 어떤 위험을 우선할지, 언제 clarification을 요청할지를 결정한다.

9.3 Intent-Grounded의 정확한 의미

Intent-Grounded는 단순히 언어명령을 잘 따르는 것을 의미하지 않는다. 로봇이 인간의 목적을 물리적 결과의 기준으로 사용하고, 그 목적에 필요한 공간지식을 선택하며, 불확실한 경우 추가상호작용을 통해 의도를 명확히 하는 능력이다.

제10장. 다중 로봇은 collective spatial experience를 만든다

전통적인 multi-robot SLAM의 대표적 설명은 여러 로봇의 지도를 정합하고 병합하는 것이다. APRL의 경험 중심 관점에서는 목표가 더 넓어진다.

한 로봇이 치른 경험의 비용을 다른 로봇이 다시 치르지 않게 한다.

10.1 경험은 그대로 복제될 수 없다

로봇마다 센서, 시야, 높이, 이동능력, payload, 안전제약이 다르다. 한 로봇에게 통행 가능한 경로가 다른 로봇에게는 불가능할 수 있고, 한 센서에서 신뢰할 수 있는 landmark가 다른 센서에서는 관측되지 않을 수 있다.

따라서 경험을 공유할 때에는 다음 정보가 필요하다.

10.2 집단적 prior

출처와 조건이 보존된 경험은 다른 로봇의 prior가 될 수 있다. 새로운 로봇은 모든 공간을 처음부터 탐색하지 않고, 다른 로봇의 성공과 실패를 참고하여 관측과 행동을 선택할 수 있다.

이 개념을 collective spatial experience라고 부를 수 있다. 2024년의 Robot Web과 Experience 2.0은 여러 agent의 경험이 집단적 prior로 축적되는 방향과 연결된다.

제11장. APRL의 차별적 위치

APRL이 다루는 개별 subproblem을 APRL만 연구하는 것은 아니다. 차별성은 문제의 독점이 아니라 intersection과 research program의 구성방식에 있다.

연구실 또는 방향 대표 질문
MIT SPARK 엄밀하고 확장 가능한 spatial perception, world understanding, navigation 알고리즘을 어떻게 구성할 것인가?[8]
ETH ASL 복잡하고 도전적인 실제 환경에서 robust autonomy를 어떻게 구현할 것인가?[1]
Oxford GOALS 장기간의 불확실성 속에서 더 나은 의사결정을 어떻게 수행할 것인가?
Stanford ILIAD 인간과 정렬하고 상호작용하며 학습하는 시스템을 어떻게 만들 것인가?[7]
APRL 변화하는 세계에 대한 공간적 이해를 어떻게 경험으로 축적하고, 현재 목적에 맞게 선택하고, 행동으로 검증하며, 그 결과를 다음 로봇과 다음 행동을 위한 이해로 되돌릴 것인가?

APRL의 고유한 위치는 geometry에서 memory로, memory에서 human intent로, human intent에서 runtime reasoning과 physical outcome으로 연구질문을 끝까지 연결한다는 데 있다.

다시 말해 APRL은 “공간을 정확히 표현하는 방법”만을 연구하지 않는다. “공간에 관한 경험이 어떻게 행동에 사용되고, 행동의 결과가 어떻게 다시 지식이 되는가”를 하나의 연속된 연구대상으로 삼는다.

제12장. 자율성은 인간의 부재가 아니다

APRL의 자율성은 인간을 시스템에서 제거하는 것을 의미하지 않는다. 자율성은 인간의 의도를 목표로 유지하면서도, 인간이 매 순간 지각, 계획, 오류진단, 회복을 대신하지 않아도 되도록 하는 능력이다.

Autonomy is not the absence of humans.
It is the ability to fulfill human intent without requiring continuous human intervention.

이 정의는 intent-grounded와 minimal human intervention의 관계를 명확하게 한다.

따라서 자율성의 최종 지표는 특정 benchmark의 점수만이 아니다. 로봇이 얼마나 오랫동안 인간의 지속적 개입 없이 안전하고 정확한 physical outcome을 만들어 내는가가 중요한 평가기준이 된다.[5]

제13장. 네 가지 철학적 기반

APRL의 연구 프로그램은 네 가지 철학적 관점이 공간지능 안에서 결합된 것으로 해석할 수 있다. 각 관점 자체를 APRL이 발명한 것은 아니지만, geometry, memory, human intent, runtime reasoning, physical outcome을 하나의 폐루프로 연결하는 방식이 APRL의 위치를 형성한다.

13.1 Bayesian epistemology

로봇이 가진 세계지식은 절대적인 truth가 아니라 증거에 따라 계속 수정되는 belief이다. 현재 관측과 과거 경험, 학습된 prior, 행동결과가 belief update에 함께 사용된다.

이 관점은 지도와 기억의 불확실성을 인정하는 데서 끝나지 않는다. 불확실성을 표현하고, 새로운 증거를 얻기 위한 관측과 행동을 선택하고, 믿음을 갱신하는 전체 과정으로 이어진다.

13.2 Pragmatism

좋은 representation인지 판단하는 최종 기준은 reconstruction score만이 아니다. 그 정보가 실제 행동을 개선했는지, 위험과 비용을 줄였는지, 인간의 목적을 더 잘 달성했는지가 중요하다.

13.3 Situated and enactive cognition

지능은 모델 내부에 정적으로 들어 있는 속성이 아니다. body-world-human interaction 속에서 실행되고 수정된다. 로봇의 몸체와 환경은 지능의 외부조건이 아니라 지능이 성립하는 과정의 일부이다.

13.4 Distributed cognition

지능은 한 로봇의 내부상태에만 존재하지 않는다. 여러 로봇과 인간이 가진 경험이 provenance와 embodiment를 유지한 채 공유될 때 집단적 prior가 형성된다.

13.5 네 관점의 결합

네 관점은 다음과 같이 연결된다.

  1. Bayesian epistemology는 지식을 수정 가능한 belief로 본다.
  2. Pragmatism은 belief의 가치를 행동결과로 평가한다.
  3. Situated cognition은 행동과 상호작용을 belief 형성의 일부로 본다.
  4. Distributed cognition은 형성된 경험을 여러 agent 사이에 이전한다.

이 결합이 APRL의 “spatial intelligence”를 단순한 spatial representation과 구별한다.

제14장. 연구 프로그램과 공식 설명의 구조

연구 페이지와 research statement에서는 서로 다른 수준의 문장을 구분할 필요가 있다. 하나의 문장에 정의, 동기, 방법, 가치판단을 모두 넣으면 메시지가 약해진다.

14.1 제1수준: 연구실을 대표하는 중심 정의

첫 문장은 APRL이 무엇을 연구하는지 긍정적으로 정의해야 한다.

APRL은 경험이 어떻게 신뢰할 수 있는 행동이 되고, 행동의 결과가 어떻게 더 나은 이해로 되돌아오는지를 연구한다.

APRL studies how experience becomes reliable action - and how action becomes better understanding.

이 문장은 experience, reliable action, feedback to understanding을 하나의 양방향 구조로 연결한다. 또한 mapping, memory, intent, runtime verification, recovery를 모두 후속 설명으로 도출할 수 있다.

14.2 제2수준: 연구대상의 학술적 정의

APRL studies the lifecycle of spatial understanding.

이 문장은 연구대상을 spatial understanding의 lifecycle로 명명한다. 논문, 연구계획, 강연에서 가장 안정적으로 사용할 수 있는 학술적 정의이다.

14.3 제3수준: 작동원리

A robot's understanding of the world is never finished. It is constructed from imperfect observations, maintained across change, aligned with human intent, tested through physical action, and revised from experience.

이 문단은 lifecycle이 어떤 단계로 구성되는지를 설명한다.

14.4 제4수준: 인식론적 동기

The map is a hypothesis, not the truth.

이 문장은 첫 문장이 아니라, 왜 지속적인 verification과 revision이 필요한지를 설명하는 동기문장으로 배치한다.

14.5 제5수준: 연구축

중심 정의 아래에 다음 순환을 배치하면 GSI, RGP, ASM, CSI, ESI가 병렬 taxonomy가 아니라 하나의 연구철학에서 도출된 프로그램으로 읽힌다.

Model Space → Ground Reality → Remember Experience → Align Intent → Execute and Verify → Revise Understanding

14.6 보조문장

다음 문장들은 문맥에 따라 보조적으로 사용할 수 있다.

We study how spatial understanding lives.

Spatial intelligence is a living understanding shaped by experience and revised through action.

From Maps to Experience. From Experience to Action. From Action to Understanding.

이 문장들은 중심 정의를 대체하기보다 발표제목, 장 제목, 도식 설명으로 사용하는 편이 적절하다.

결론. APRL이 연구하는 것은 살아 있는 공간적 이해다

APRL의 연구를 가장 일관되게 설명하는 방법은 개별 기술이나 세 개의 형용사를 나열하는 것이 아니다. 지난 연구는 장소를 다시 인식하는 문제에서 출발하여 시간에 따른 변화, 이질적인 센서 경험, metric integration, 장기기억, 인간 의도, 실행 시점 추론, 실패 후 회복, 다중 로봇 경험공유로 확장되어 왔다.

이 흐름의 중심에는 하나의 순환이 있다. 로봇은 관측으로부터 공간적 이해를 만들고, 과거 경험을 현재의 목적에 맞게 선택하고, 인간의 의도와 정렬하며, 행동으로 믿음을 시험하고, 결과를 새로운 경험으로 저장한다.

따라서 APRL의 공간지능은 세계를 잘 그린 지도와 동일하지 않다. 그것은 변화하는 세계에서 경험을 행동으로 바꾸고, 행동을 다시 이해로 되돌리는 살아 있고 자기수정적인 과정이다.

APRL은 경험이 어떻게 신뢰할 수 있는 행동이 되고, 행동의 결과가 어떻게 더 나은 이해로 되돌아오는지를 연구한다.

이 정의는 Scan Context에서 lifelong localization, LT-Mapper, heterogeneous mapping, Experience 2.0, ScaleMaster, LT-Mem, implicit human intent, runtime verification and recovery, SSI까지의 연구 궤적을 하나의 논리로 연결한다. 또한 앞으로의 연구를 평가하는 기준도 제공한다. 새로운 연구가 APRL의 프로그램에 속하는가는 그 연구가 공간적 이해를 더 잘 구성하고, 기억하고, 선택하고, 인간과 정렬하고, 행동으로 검증하고, 다음 경험으로 환류하는 데 어떤 역할을 하는가로 판단할 수 있다.

참고자료

  1. Autonomous Systems Lab, ETH Zurich
  2. APRL Publications
  3. APRL의 연구 프로그램과 Situated Spatial Intelligence
  4. 로봇은 지도를 기억해야 하는가, 경험을 기억해야 하는가
  5. 로보틱스 연구라는 업을 다시 정의하다
  6. 로봇은 더 배워야 하는가, 더 생각해야 하는가
  7. Stanford ILIAD - Human-AI/Robot Interaction
  8. MIT SPARK Lab
  9. APRL Research

APRL Research Philosophy

How Experience Becomes Action, and Action Becomes Understanding Again

APRL studies how experience becomes reliable action—and how the outcomes of action return as better understanding.

This sentence defines APRL's research not as a static object, but as a recurring process. The central object of APRL's work is neither the map itself, a particular sensor, nor a particular robot platform. It is the entire process through which a robot forms a spatial understanding of a changing world, uses past experience in present decisions, interprets human intent, acts physically, and then treats the outcome as new evidence with which to revise its understanding.

Under this definition, place recognition, lifelong localization, heterogeneous mapping, spatial memory, vision-language navigation, implicit instruction, runtime reasoning, failure detection, recovery, and multi-robot knowledge transfer are not separate lists of research topics. They are different stages required to transform experience into action and feed action back into understanding.

Suggested reading · APRL materials assumed by this document

Rather than reintroducing the vision, research pillars, and case studies already presented in the resources below, this document explains why they form a single research program. First-time readers are encouraged to read items 1–3 first, consult items 4–6 according to their interests, and then continue with the main text.

  1. APRL ResearchThe hub for the current vision and research interests. It also links to the 5-Year Research Statement, AIMS materials, and invited-talk materials.
  2. APRL Research VisionDefines Persistent, Intent-Grounded, and Resilient, and explains the purpose of robotics research.
  3. Situated Spatial IntelligenceExplains the five research pillars—GSI, RGP, ASM, CSI, and ESI—and the SSI closed loop.
  4. Spatial Experience & MemoryDevelops the relationships among maps, experience, memory, task relevance, and action outcomes.
  5. VLA Runtime HarnessingDiscusses the relationship between learned models and runtime reasoning, verification, and recovery.
  6. APRL PublicationsTraces the research lineage from Scan Context to long-term memory and implicit-goal navigation.
Terminology · GSI: Geometric Spatial Intelligence · RGP: Reality-Grounded Perception · ASM: Agentic Spatial Memory · CSI: Communicative Spatial Intelligence · ESI: Executable Spatial Intelligence · SSI: Situated Spatial Intelligence

Purpose and Structure of This Document

This is not a promotional summary of APRL's research areas. It is a textbook-style explanation for reading the trajectory of past work and the current research plan as one logical structure. It addresses three central questions.

  1. What problem has APRL repeatedly expanded through its past research?
  2. What definition of spatial intelligence unifies those problems?
  3. Why do memory, human intent, runtime reasoning, resilience, and multi-robot sharing necessarily follow from that definition?

The argument proceeds as follows.

Chapter 1. APRL's Central Problem Runs Deeper Than Three Adjectives

Among the suggested readings on the opening page, APRL Research Vision summarizes the current research vision as Persistent / Intent-Grounded / Resilient. Persistence is the ability to maintain knowledge across changes in time and environment; intent grounding is the ability to use human purposes as criteria for judgment; and resilience is the ability to continue a mission after errors and failures. These three qualities are important, but by themselves they do not sufficiently distinguish APRL's research program.

Autonomous operation in complex and dynamic environments, decision-making under long-term uncertainty, alignment with humans, and robust perception and navigation are goals shared by many excellent robotics laboratories. Distinctiveness therefore does not come from owning particular adjectives. APRL's distinctiveness lies in the research object and causal relationships under which these goals are organized.

When APRL's work is arranged along a timeline, a consistent problem emerges beneath the individual technologies.[9] It is not enough for a robot to represent the world accurately once. A robot must build understanding from imperfect observations, judge when that understanding remains valid, select the past experiences needed for the present task, act in alignment with human intent, and revise its understanding through the outcomes of action.

APRL's central problem can therefore be defined as follows.

Spatial intelligence is the capacity to transform experience into reliable action and feed the outcomes of action back into better understanding.

In this definition, Persistent, Intent-Grounded, and Resilient are not independent slogans but necessary conditions for completing a single cycle. If experience does not persist, it cannot inform present action. If it is not aligned with human intent, the robot cannot determine which information matters. If understanding cannot be revised after failure, the outcome of action cannot accumulate as the next experience.

1.1 A List of Research Areas vs. a Research Philosophy

The Situated Spatial Intelligence material classifies APRL's research pillars as GSI (Geometric Spatial Intelligence), RGP (Reality-Grounded Perception), ASM (Agentic Spatial Memory), CSI (Communicative Spatial Intelligence), and ESI (Executable Spatial Intelligence). This taxonomy is useful for describing research areas, but it does not automatically explain why all five should coexist within one laboratory. A first-time visitor may read it as a laboratory that pursues geometry, lifelong mapping, HRI, and embodied AI in parallel.

A research philosophy must state the generative principle beneath the list. For APRL, that principle is the following closed loop.

Model Space → Ground Reality → Remember Experience → Align Intent → Execute and Verify → Revise Understanding

Each research pillar performs one function in this loop. The research areas are therefore not an arbitrary collection of technologies, but components logically required to realize a living spatial understanding.

Chapter 2. Research Lineage: From Maps to Experience

APRL's research philosophy is not a recent narrative projected backward onto earlier work. Read chronologically, the major studies show an expanding scope: from recognizing places, to preserving experience, integrating heterogeneous experiences, selecting experiences relevant to human purposes, and revising understanding from the outcomes of action.[2]

2.1 Scan Context: Recognizing a Place Again

The central question of Scan Context is how a robot recognizes a place when it encounters that place again. This problem is broader than geometric registration alone. The robot must identify structures that persist between present and past observations and connect its current experience to an earlier one.

Place recognition is the most fundamental function of experience-based spatial intelligence. If a current observation cannot be related to a past experience, neither long-term memory nor the reuse of experience is possible.

2.2 1-Day Learning and 1-Year Localization: Change Over Time

Asking whether a representation learned in one day can still be used a year later expands place recognition into a problem of long-term operation. To identify a place as the same after seasons, lighting, structures, and dynamic objects have changed, a robot must distinguish superficial differences in observation from the persistent identity of the place.

At this stage, a map can no longer be an exact copy of a single moment. Long-term localization becomes a problem of learning and judging what has changed and what has remained.

2.3 LT-Mapper: Maintaining a World Across Multiple Times

Rather than forcing worlds observed at different times into one fixed map, LT-Mapper points toward representing states and changes over time together. It expands mapping from the production of a single artifact into long-term state management.

For a robot to operate persistently in a changing environment, deleting past states or overwriting them with the present is not enough. The robot must judge when and under what conditions a state was observed, whether a difference is temporary or structural, and which state is relevant to the present task.

2.4 HeLiPR: Connecting Heterogeneous Sensor Experiences

Different LiDARs and platforms experience the same space with different resolutions, fields of view, and noise characteristics. The problem addressed by HeLiPR is not merely sensor conversion, but the construction of common spatial relationships across heterogeneous experiences.

This problem becomes a foundation for later multi-robot experience sharing. Because experience is not pure information independent of sensor and embodiment, it must be connected while accounting for its provenance and observation conditions.

2.5 ScaleMaster and MR.ScaleMaster: Integrating Multiple Visual Experiences into a Metric World

Each monocular visual sequence may have a different scale ambiguity. Integrating multiple experiences into one metric world requires reasoning about not only the internal structure of each experience, but also the scale and relationships among experiences.

This work expands foundation geometry from reconstructing a single image to consistently integrating multiple experiences. What matters is not only extracting as much geometry as possible from one observation, but combining partial understandings created from different observations into one actionable world model.

2.6 LT-Mem: Which Past Should Be Used Now?

As memory grows, retrieval becomes harder. The most similar past experience is not necessarily the most useful one for the present decision. The core question raised by LT-Mem is which memory should be trusted and used in the current situation.

Here, long-term memory is not merely a repository. It is a component of decision-making in which the recency and conditions of an experience, its success or failure, its agreement with current observation, and its expected action value must all be considered.

2.7 Implicit Goals and VLN: Selecting Experience Relevant to Human Intent

Recent work on implicit-goal navigation and vision-language navigation introduces human intent into the retrieval conditions for spatial memory. Human instructions may not arrive as complete coordinates or explicit goals. A robot must interpret the situation, preferences, and constraints embedded in language, and then find the spatial experiences relevant to that intent.

At this stage, APRL's work expands from recognizing places and maintaining maps to deciding which spatial knowledge should be used to produce the physical outcome a human wants.

2.8 Convergence Toward Experience 2.0 and SSI

The 2024 research plan reinterpreted SLAM not merely as a tool for estimating pose and map, but as an Automated Experience Reconstruction Machine. It also proposed Experience 2.0 as a research object that combines experiences generated across multiple robots, sensors, and times, beyond a single journey.

Subsequent work on spatial memory, implicit human intent, runtime verification and recovery, and Situated Spatial Intelligence further generalizes this direction. The lineage can be summarized as follows.

Place Recognition → Lifelong Localization → Multi-Temporal Mapping → Heterogeneous Experience → Metric Integration → Spatial Memory → Human Intent → Runtime Verification and Recovery → Situated Spatial Intelligence

The object running through this lineage is not the map, but the formation, connection, selection, execution, and revision of experience.

Chapter 3. Maps, Experience, Memory, and Belief

Understanding APRL's spatial intelligence requires distinguishing maps, experience, memory, and belief. The four concepts are connected, but they are not the same.

3.1 A Map Is a Compression of Spatial Information

A map primarily represents what is located where. It structures locations, shapes, connectivity, semantic categories, traversability, and related information for use in planning and localization. A map is essential to a robot's spatial judgment, but it does not contain the entire real world as it is.

A map contains unobserved regions, sensor errors, temporal changes, and omissions introduced by representation. The information needed from the same space also differs by task. A map is therefore not the world itself, but a model constructed under particular purposes and observation conditions.

3.2 Experience Includes Conditions, Actions, and Outcomes

Experience is broader than a map. It includes not only what was seen, but when it was observed, through which sensor and embodiment, for what purpose, what action was taken, whether it succeeded or failed, and what costs and risks occurred.[4]

For example, the statement “there is a door at this location” may belong in a map. But “it was open on weekday mornings, a robot of a particular size could pass through it, and the latest attempt found it locked and required a detour” is closer to the structure of experience.

3.3 Memory Makes Experience Usable in Present Decisions

Memory is not simply the storage of past experience. It is a system organized to retrieve experiences relevant to the current situation, assess their reliability, and use them in action decisions. The quality of memory cannot be evaluated only by the number of stored items or by recall accuracy.

The ultimate evaluation question is: Did using that memory improve the robot's present action? Memory is therefore not an auxiliary database for perception, but a decision mechanism that improves action quality.

3.4 Belief Is the Provisional Understanding Available Now

A robot combines current observations, past experience, and learned priors to form beliefs about the world. A belief is not a confirmed fact, but the state judged most plausible under the available evidence. It must be revised when new observations or action outcomes arrive.

This is where the following sentence becomes meaningful.

The map is a hypothesis, not the truth.

This is not APRL's final definition, however. It is an epistemological motivation for why cyclical spatial intelligence is necessary. Because the map is a hypothesis, a robot must check its confidence, use memory conditionally, test it through action, and revise it according to outcomes.

3.5 What It Means to Know a Place

Knowing a place cannot mean only reconstructing its geometry. To claim that a robot knows a place in a long-term, real-world setting, the robot must at least be able to answer the following questions.

This definition goes beyond lifelong mapping. The goal is not merely to create a map that lasts, but to use long-accumulated experience appropriately in present action.

Chapter 4. The Lifecycle of Spatial Understanding

APRL's research program can be organized as a lifecycle in which spatial understanding is created, used, and revised.[3]

4.1 Construct: Build Understanding from Imperfect Observations

A robot infers geometry, objects, places, relations, and affordances from sensor observations. Because observations are partial and depend on sensors and viewpoints, the resulting understanding contains uncertainty from the outset.

4.2 Ground and Verify: Ground the Model in Reality

The robot must confirm that the constructed model agrees with present reality. This process includes localization, data association, loop closure, change detection, cross-sensor alignment, and confidence estimation.

4.3 Remember and Update: Maintain Experience Over Time

A robot cannot store every observation in the same way. It must decide what to preserve, which experiences to merge, how to retain conflicting experiences, and when to update stale information.

4.4 Query and Select: Choose the Experience Needed for the Present Decision

Retrieval cannot be based on similarity alone. Experience must be selected according to the present task, risk, information recency, expected action value, and human intent.

4.5 Align and Communicate: Connect Human Intent to Spatial Knowledge

Human language does not arrive as complete coordinates. A robot must interpret unexpressed preferences and constraints, and clarify intent through questions when uncertainty is high.

4.6 Execute: Transform Understanding into Physical Outcomes

Spatial understanding becomes real action through planning, navigation, manipulation, and interaction. Sensors, computing, embodiment, dynamics, and safety constraints converge at this stage.

4.7 Verify and Revise: Update Understanding from Action Outcomes

The success, failure, cost, and gap between expected and actual outcomes are new evidence. A robot uses this evidence to revise its maps, memories, beliefs, and planning strategies.

The overall structure is as follows.

World → Observation → Experience → Memory → Belief → Intent → Action → Outcome → Belief and Memory Revision

In this structure, spatial intelligence is not a representation but a continuously operating epistemic control loop.

Chapter 5. Knowledge Is Task-Dependent

One of APRL's central propositions is that a good world model is not necessarily the model that represents the world in the greatest detail. A good world model preserves information needed for the current purpose, retrieves it at the appropriate moment, assesses its reliability, and makes it available for action.

5.1 The Same Space, Different Knowledge

The information required from the same building differs across home assistance, hospital guidance, delivery, and rescue missions. A home-assistance robot may prioritize user preferences and daily patterns; a hospital guide robot, accessibility, congestion, and operating hours; a delivery robot, traversability and time cost; and a rescue robot, hazardous zones and survival likelihood.

Storing and processing every fact about the world at the same level is not only computationally inefficient, but also unhelpful for judgment. The task determines what should be observed, remembered, retrieved, and verified.

5.2 Semantic Similarity and Decision Relevance

Linguistic or visual similarity is useful when retrieving past experience, but it is not sufficient. The present judgment may require a record relevant to the action decision rather than the most semantically similar record.[4]

Decision relevance may include the following factors.

APRL's question therefore shifts from “What is the true representation of the world?” to “What must this agent know in order to act correctly now?” This is a pragmatic definition of spatial intelligence.

5.3 The Ultimate Metric for Memory

High retrieval accuracy alone is not enough when evaluating a memory system. If retrieved memories induce a bad plan or recommend a stale route, high recall does not lead to good action.

The ultimate performance of memory should be connected to action-level metrics such as:

From this perspective, memory is not the ability to reproduce the past well, but the ability to improve present and future action.

Chapter 6. Action Is a Means of Verifying Understanding

Traditional pipelines place perception, reasoning, and action in sequence. In this structure, action appears to be the result of already completed perception and reasoning.

Perception → Reasoning → Action

In the real world, however, action is both the use of understanding and a test of that understanding.

Perception → Belief → Action → Outcome → Belief Revision

6.1 Why Action Outcomes Become Evidence

Suppose a robot concludes from memory that a door is open and chooses a route through it. If the door will not open on site, this is not merely a failure of the navigation module. It is evidence that a particular belief in the robot's world model is no longer valid.

From this outcome, the robot must distinguish among multiple hypotheses: whether the door is temporarily locked, operating hours have changed, localization is wrong, another door was recognized as the same place, or passage is impossible only for its particular body.

6.2 The Robot as a Scientific Agent

In this structure, robot operation resembles the following cycle.

Hypothesize → Act → Test → Revise

A robot forms a hypothesis from current evidence, tests it through action, and uses the outcome to revise its understanding. Action does not exist only downstream of perception; it is an active experiment that produces new perception.

6.3 The Meaning of Failure Records

Failure is not a log to discard, but an important part of experience. Preserving the conditions under which a plan failed can prevent the same cost from being paid again in the next action. When the conditions of both success and failure are remembered, spatial memory develops from scene memory into knowledge of actionability.

Chapter 7. Resilience Is Broader Than Robustness

Robustness is the ability to reduce performance degradation and the likelihood of failure under given disturbances and uncertainty. Resilience is the ability to diagnose a state, revise a strategy, and continue the mission after failure has already occurred or an existing assumption has collapsed.[5]

7.1 Stages of a Resilient System

A resilient robot must carry out the following functions cyclically.

  1. Detect: Detect its own uncertainty, errors, and failures.
  2. Diagnose: Estimate the cause and scope of a failure.
  3. Acquire: Observe again or ask a human for the required information.
  4. Replan: Revise beliefs, memories, plans, and action strategies.
  5. Resume: Continue the mission with the revised strategy.
  6. Learn: Preserve the outcome as experience for the next decision.

This cycle is not mere exception handling. It is an epistemic process that uses failure as an opportunity to update knowledge.

7.2 Systems That Never Fail and Systems That Handle Failure

No learned model can include in advance every sensor failure, environmental change, ambiguous human instruction, or exceptional physical situation that may occur in an open world. The core of real autonomy is therefore not the complete elimination of failure, but the ability to detect, understand, and recover from it.

Resilience matters at APRL because it connects persistence and intent grounding to real operation. Unconditionally trusting old memories makes persistence dangerous, while failing to clarify ambiguous intent can produce the wrong action. Resilience is the execution structure that makes persistence and intent alignment safe to operate.

Chapter 8. Intelligence Does Not Exist Only in Learned Weights

Modern embodied-AI and VLA research internalizes more behavioral capability in models through large-scale data, foundation models, imitation learning, and reinforcement learning. This is powerful, but it does not mean that every situation and failure a physical robot may encounter can be compiled into model weights in advance.

8.1 Priors and Runtime Evidence

A learned model provides priors about the world and action. In real deployment, however, current sensor observations, past experiences, human instructions, system states, and action outcomes continue to arrive. A robot must combine priors with runtime evidence to form its current belief.

The 2024 research plan viewed robot intelligence as a Bayesian update of priors with runtime sensor evidence. That perspective can now be extended to memory, reasoning, verification, interaction, and recovery.

8.2 The Meaning of Runtime Harnessing

Planners, memory, verifiers, and uncertainty detectors should not necessarily be treated as temporary aids that will disappear when a larger end-to-end model arrives. In an open world, the structure that coordinates these functions at runtime may itself be part of intelligence.[6]

This can be expressed conceptually as follows.

Intelligence = Learned Prior + Current Observation + Experience + Runtime Deliberation + Verification

This is not a mathematical model that simply adds the terms. It is a structural proposition that real intelligence exists in the combination of a learned model and the process of execution.

8.3 Model Capability and System Capability

A model provides capabilities for perception, prediction, language understanding, and action generation. A system decides when to trust the model, which memories to retrieve, when to plan, what to verify, when to ask a human, and how to recover after failure.

APRL therefore addresses both the problem of building better models and the problem of organizing their capabilities into reliable action in the real world.

Chapter 9. Humans Determine Relevance

At APRL, a human is not merely a command-input device or a user interface. Human intent is a condition that determines which elements of accumulated spatial knowledge matter now.

9.1 From Language Understanding to Spatial Decision-Making

Consider the statement, “My leg hurts a little, and I need to go to another floor.” It does not directly specify a goal coordinate. A robot must nevertheless infer the following.

This problem cannot be solved by NLP alone. It is a spatial decision problem combining language, spatial memory, current observation, human state, mobility, and uncertainty resolution.

9.2 The Role of Language

At APRL, language can be understood as an interface for querying and constraining spatial intelligence. Human expression determines which memories to retrieve, which routes to avoid, which risks to prioritize, and when to request clarification.

9.3 The Precise Meaning of Intent-Grounded

Intent-Grounded does not simply mean following linguistic commands well. It is the ability to use a human purpose as the criterion for physical outcomes, select the spatial knowledge required for that purpose, and clarify intent through further interaction when uncertainty remains.

Chapter 10. Multiple Robots Create Collective Spatial Experience

A common description of traditional multi-robot SLAM is the registration and merging of maps from several robots. From APRL's experience-centered perspective, the goal is broader.

One robot should not have to pay again the cost of an experience already paid by another.

10.1 Experience Cannot Be Copied as Is

Robots differ in sensors, fields of view, height, mobility, payload, and safety constraints. A route traversable by one robot may be impossible for another, and a landmark reliable to one sensor may be invisible to another.

The following information must therefore accompany shared experience.

10.2 A Collective Prior

Experience whose provenance and conditions are preserved can become a prior for another robot. A new robot can choose observations and actions by drawing on other robots' successes and failures instead of exploring every space from scratch.

This concept can be called collective spatial experience. The 2024 ideas of the Robot Web and Experience 2.0 connect to a direction in which the experiences of multiple agents accumulate as a collective prior.

Chapter 11. APRL's Distinctive Position

APRL is not the only laboratory to study the individual subproblems it addresses. Distinctiveness lies not in monopoly over a problem, but in the intersection and organization of the research program.

Laboratory or directionRepresentative question
MIT SPARKHow can rigorous and scalable algorithms for spatial perception, world understanding, and navigation be built?[8]
ETH ASLHow can robust autonomy be achieved in complex and challenging real-world environments?[1]
Oxford GOALSHow can better decisions be made under long-term uncertainty?
Stanford ILIADHow can systems align, interact, and learn with humans?[7]
APRLHow can spatial understanding of a changing world accumulate as experience, be selected for the present purpose, be tested through action, and return as understanding for the next robot and the next action?

APRL's distinctive position lies in carrying the research question all the way from geometry to memory, from memory to human intent, and from human intent to runtime reasoning and physical outcomes.

In other words, APRL does not study only “how to represent space accurately.” It treats “how experience of space is used in action, and how the outcome of action becomes knowledge again” as one continuous research object.

Chapter 12. Autonomy Is Not the Absence of Humans

For APRL, autonomy does not mean removing humans from the system. It is the ability to retain human intent as the goal without requiring a human to perform perception, planning, error diagnosis, and recovery at every moment.

Autonomy is not the absence of humans.

It is the ability to fulfill human intent without requiring continuous human intervention.

This definition clarifies the relationship between intent grounding and minimal human intervention.

The ultimate metric for autonomy is therefore not only a score on a particular benchmark. An important criterion is how long a robot can produce safe and accurate physical outcomes without continuous human intervention.[5]

Chapter 13. Four Philosophical Foundations

APRL's research program can be interpreted as the combination of four philosophical perspectives within spatial intelligence. APRL did not invent the perspectives themselves, but its position is formed by the way it connects geometry, memory, human intent, runtime reasoning, and physical outcomes in one closed loop.

13.1 Bayesian Epistemology

A robot's knowledge of the world is not absolute truth, but belief continually revised by evidence. Current observations, past experiences, learned priors, and action outcomes all contribute to belief updates.

This perspective does not end with acknowledging uncertainty in maps and memory. It extends to the entire process of representing uncertainty, choosing observations and actions that obtain new evidence, and updating beliefs.

13.2 Pragmatism

The final criterion for a good representation is not reconstruction score alone. What matters is whether the information improves actual action, reduces risk and cost, and better fulfills human purposes.

13.3 Situated and Enactive Cognition

Intelligence is not a static property contained inside a model. It is enacted and revised through body-world-human interaction. A robot's body and environment are not external conditions of intelligence, but parts of the process through which intelligence exists.

13.4 Distributed Cognition

Intelligence does not exist only in the internal state of one robot. A collective prior forms when the experiences of multiple robots and humans are shared while preserving provenance and embodiment.

13.5 Combining the Four Perspectives

The four perspectives connect as follows.

  1. Bayesian epistemology treats knowledge as revisable belief.
  2. Pragmatism evaluates the value of belief by action outcomes.
  3. Situated cognition treats action and interaction as part of belief formation.
  4. Distributed cognition transfers formed experience among multiple agents.

This combination distinguishes APRL's “spatial intelligence” from spatial representation alone.

Chapter 14. Structuring the Research Program and Its Official Description

Research pages and research statements should distinguish sentences that operate at different levels. Combining definition, motivation, method, and value judgment in one sentence weakens the message.

14.1 Level 1: The Laboratory's Central Definition

The opening sentence should positively define what APRL studies.

APRL studies how experience becomes reliable action—and how the outcomes of action return as better understanding.

This sentence connects experience, reliable action, and feedback to understanding in a bidirectional structure. Mapping, memory, intent, runtime verification, and recovery can all follow from it.

14.2 Level 2: An Academic Definition of the Research Object

APRL studies the lifecycle of spatial understanding.

This sentence names the research object as the lifecycle of spatial understanding. It is the most stable academic definition for use in papers, research plans, and talks.

14.3 Level 3: Operating Principle

A robot's understanding of the world is never finished. It is constructed from imperfect observations, maintained across change, aligned with human intent, tested through physical action, and revised from experience.

This paragraph explains the stages that make up the lifecycle.

14.4 Level 4: Epistemological Motivation

The map is a hypothesis, not the truth.

This belongs not as the opening sentence, but as the motivation for continuous verification and revision.

14.5 Level 5: Research Pillars

Placing the following cycle beneath the central definition makes GSI, RGP, ASM, CSI, and ESI read not as a parallel taxonomy, but as a program derived from a single research philosophy.

Model Space → Ground Reality → Remember Experience → Align Intent → Execute and Verify → Revise Understanding

14.6 Supporting Lines

The following lines can serve supporting roles according to context.

We study how spatial understanding lives.

Spatial intelligence is a living understanding shaped by experience and revised through action.

From Maps to Experience. From Experience to Action. From Action to Understanding.

These lines are better used as presentation titles, chapter headings, or diagram captions than as replacements for the central definition.

Conclusion. APRL Studies a Living Spatial Understanding

The most coherent way to describe APRL's research is not to list individual technologies or three adjectives. Its past research began with recognizing places and expanded to change over time, heterogeneous sensor experience, metric integration, long-term memory, human intent, runtime reasoning, recovery after failure, and multi-robot experience sharing.

At the center of this trajectory is one cycle. A robot builds spatial understanding from observations, selects past experience for its present purpose, aligns it with human intent, tests its beliefs through action, and stores the outcome as new experience.

APRL's spatial intelligence is therefore not equivalent to a well-drawn map of the world. It is a living, self-revising process that transforms experience into action in a changing world and returns action to understanding.

APRL studies how experience becomes reliable action—and how the outcomes of action return as better understanding.

This definition connects the research trajectory from Scan Context through lifelong localization, LT-Mapper, heterogeneous mapping, Experience 2.0, ScaleMaster, LT-Mem, implicit human intent, runtime verification and recovery, and SSI within one logic. It also provides a criterion for evaluating future work: whether a new study belongs to APRL's program can be judged by the role it plays in better constructing, remembering, selecting, aligning, testing, and feeding back spatial understanding into the next experience.

References

  1. Autonomous Systems Lab, ETH Zurich
  2. APRL Publications
  3. APRL's Research Program and Situated Spatial Intelligence
  4. Should Robots Remember Maps, or Should They Remember Experience?
  5. Redefining the Work of Robotics Research
  6. Should Robots Learn More, or Think More?
  7. Stanford ILIAD - Human-AI/Robot Interaction
  8. MIT SPARK Lab
  9. APRL Research