# APRL 연구철학 ## 경험이 행동이 되고, 행동이 다시 이해가 되는 과정 > **APRL은 경험이 어떻게 신뢰할 수 있는 행동이 되고, 행동의 결과가 어떻게 더 나은 이해로 되돌아오는지를 연구한다.** > > **APRL studies how experience becomes reliable action - and how action becomes better understanding.** 이 문장은 APRL의 연구를 하나의 정적인 대상이 아니라 순환하는 과정으로 정의한다. APRL이 다루는 핵심 대상은 지도 자체도, 특정 센서도, 특정 로봇 플랫폼도 아니다. 핵심 대상은 변화하는 세계에서 로봇이 공간적 이해를 형성하고, 과거의 경험을 현재의 판단에 사용하고, 인간의 의도를 해석하고, 물리적으로 행동한 뒤, 그 결과를 새로운 증거로 받아들여 자신의 이해를 수정하는 전체 과정이다. 이 정의 아래에서 place recognition, lifelong localization, heterogeneous mapping, spatial memory, vision-language navigation, implicit instruction, runtime reasoning, failure detection, recovery, multi-robot knowledge transfer는 서로 분리된 연구목록이 아니다. 이들은 경험을 행동으로 전환하고 행동을 다시 이해로 환류하기 위해 필요한 서로 다른 단계이다.
선행 읽기 안내 · 이 문서가 전제로 삼는 APRL 자료

이 문서는 아래 자료에 이미 제시된 비전·연구축·연구사례를 다시 소개하기보다, 그것들이 왜 하나의 연구 프로그램을 이루는지를 설명한다. 처음 읽는 독자는 1-3을 먼저 읽고, 관심 주제에 따라 4-6을 참고한 뒤 본문을 읽는 것을 권한다.

  1. APRL Research현재 비전과 연구 관심사의 허브. 5-Year Research Statement, AIMS 자료, 초청강연 자료도 이 페이지에서 연결된다.
  2. APRL Research VisionPersistent, Intent-Grounded, Resilient의 정의와 로보틱스 연구의 목적을 설명한다.
  3. Situated Spatial IntelligenceGSI, RGP, ASM, CSI, ESI의 다섯 연구축과 SSI 폐루프를 설명한다.
  4. Spatial Experience & Memorymap, experience, memory, task relevance, action-outcome의 관계를 전개한다.
  5. VLA Runtime Harnessing학습된 모델과 runtime reasoning·verification·recovery의 관계를 다룬다.
  6. APRL PublicationsScan Context부터 장기기억과 implicit-goal navigation까지의 연구 계보를 확인하는 자료다.
용어 기준 · GSI: Geometric Spatial Intelligence · RGP: Reality-Grounded Perception · ASM: Agentic Spatial Memory · CSI: Communicative Spatial Intelligence · ESI: Executable Spatial Intelligence · SSI: Situated Spatial Intelligence
--- ## 이 글의 목적과 구성 이 글은 APRL의 연구분야를 홍보용 키워드로 요약하는 문서가 아니다. 지난 연구의 흐름과 현재의 연구계획을 하나의 논리적 구조로 읽기 위한 교재형 설명이다. 핵심 질문은 세 가지이다. 1. APRL은 지난 연구에서 어떤 문제를 반복적으로 확장해 왔는가? 2. 그 문제들을 하나로 묶는 공간지능의 정의는 무엇인가? 3. 그 정의에서 memory, human intent, runtime reasoning, resilience, multi-robot sharing이 왜 필연적으로 도출되는가? 전체 논증은 다음 순서로 진행된다. - 제1장: 기존 표어와 연구분류만으로 설명되지 않는 APRL의 중심 문제 - 제2장: Scan Context에서 SSI까지 이어지는 연구 계보 - 제3장: 지도, 경험, 기억, 믿음의 관계 - 제4장: 공간적 이해의 생애주기 - 제5장: 과업 의존적 지식과 의사결정 관련성 - 제6장: 행동을 통한 검증과 믿음 수정 - 제7장: robustness를 넘어서는 resilience - 제8장: 학습된 가중치와 실행 시점 지능의 관계 - 제9장: 인간 의도가 공간지식의 relevance를 결정하는 방식 - 제10장: 다중 로봇과 collective spatial experience - 제11장: 관련 연구실과 비교한 APRL의 연구 프로그램 - 제12장: APRL이 전제하는 자율성의 정의 - 제13장: 네 가지 철학적 기반 - 제14장: 연구 페이지와 공식 설명에 적용할 정의 체계 ## 제1장. APRL의 중심 문제는 세 개의 형용사보다 깊다 1쪽의 선행 읽기 자료 가운데 **APRL Research Vision**은 현재의 연구비전을 `Persistent / Intent-Grounded / Resilient`로 정리한다. 지속성은 시간과 환경 변화 속에서 지식을 유지하는 능력을, 의도 기반성은 인간의 목적을 판단 기준으로 삼는 능력을, 회복탄력성은 오류와 실패 이후에도 임무를 지속하는 능력을 뜻한다. 이 세 성질은 중요하지만, 그 자체만으로는 APRL의 연구 프로그램을 충분히 구별하지 못한다. 복잡하고 동적인 환경에서의 자율운용, 장기 불확실성 아래의 의사결정, 인간과의 정렬, 강건한 지각과 내비게이션은 여러 우수 로보틱스 연구실이 공유하는 목표이다. 따라서 차별성은 특정 형용사의 소유권에 있지 않다. APRL의 차별성은 이 목표들을 **어떤 연구대상과 어떤 인과관계 아래 조직하는가**에 있다. APRL 자료를 시간축으로 배열하면, 개별 기술 아래에 일관된 문제가 나타난다.[9] 로봇은 세계를 한 번 정확히 표현하는 것으로 충분하지 않다. 로봇은 불완전한 관측으로 이해를 만들고, 그 이해가 언제 유효한지 판단하고, 과거 경험 가운데 현재 임무에 필요한 것을 선택하며, 인간의 의도에 맞추어 행동하고, 행동의 결과를 통해 다시 자신의 이해를 고쳐야 한다. 따라서 APRL의 중심 문제는 다음과 같이 정의할 수 있다. > **공간지능은 경험을 신뢰할 수 있는 행동으로 전환하고, 행동의 결과를 더 나은 이해로 환류하는 능력이다.** 이 정의에서 `Persistent`, `Intent-Grounded`, `Resilient`는 독립적인 표어가 아니라 하나의 순환을 성립시키기 위한 필수조건이 된다. 경험이 오래 유지되지 않으면 현재의 행동에 사용할 수 없고, 인간의 의도와 정렬되지 않으면 어떤 정보가 중요한지 결정할 수 없으며, 실패 이후에 이해를 수정하지 못하면 행동의 결과가 다음 경험으로 축적되지 않는다. ### 1.1 연구분야 목록과 연구철학의 차이 **Situated Spatial Intelligence** 자료는 APRL의 연구축을 GSI (Geometric Spatial Intelligence), RGP (Reality-Grounded Perception), ASM (Agentic Spatial Memory), CSI (Communicative Spatial Intelligence), ESI (Executable Spatial Intelligence)로 분류한다. 이 taxonomy는 연구영역을 설명하는 데 유용하지만, 각 항목이 왜 한 연구실 안에 함께 있어야 하는지를 자동으로 설명하지는 않는다. 처음 방문한 사람은 이를 geometry, lifelong mapping, HRI, embodied AI를 병렬적으로 수행하는 연구실로 읽을 수 있다. 연구철학은 목록보다 한 단계 아래의 생성원리를 제시해야 한다. APRL의 경우 그 생성원리는 다음의 폐루프이다. **Model Space → Ground Reality → Remember Experience → Align Intent → Execute and Verify → Revise Understanding** 각 연구축은 이 폐루프의 한 기능을 담당한다. 따라서 연구분야는 임의로 모인 기술의 집합이 아니라, 살아 있는 공간적 이해를 구현하기 위해 논리적으로 요구되는 구성요소가 된다. --- ## 제2장. 연구 계보: 지도에서 경험으로 APRL의 연구철학은 최근에 만든 서사를 과거 연구에 소급해 붙인 것이 아니다. 주요 연구를 시간순으로 읽으면, 장소를 알아보는 문제에서 시작하여 경험을 보존하고, 이질적인 경험을 통합하고, 인간의 목적에 맞는 경험을 선택하고, 행동의 결과로 다시 수정하는 문제로 범위가 확장되어 왔음을 확인할 수 있다.[2] ### 2.1 Scan Context: 장소를 다시 알아보는 문제 Scan Context의 핵심 질문은 로봇이 이미 방문한 장소를 다시 만났을 때 이를 어떻게 인식할 것인가이다. 이 문제는 단순한 기하학적 정합보다 넓다. 현재 관측과 과거 관측 사이에서 유지되는 구조를 찾아야 하며, 로봇은 현재의 경험을 이전 경험과 연결할 수 있어야 한다. 장소 재인식은 경험 기반 공간지능의 가장 기초적인 기능이다. 현재의 관측이 과거의 어느 경험과 관련되는지 알 수 없다면, 장기기억도 경험의 재사용도 성립하지 않는다. ### 2.2 1-Day Learning과 1-Year Localization: 시간 변화의 문제 하루 동안 학습한 표현을 1년 뒤에도 사용할 수 있는가라는 질문은 장소 인식을 장기운용의 문제로 확장한다. 계절, 조명, 구조물, 동적 객체가 변한 뒤에도 동일한 장소라는 관계를 식별하려면, 로봇은 관측의 표면적 차이와 장소의 지속적 정체성을 구분해야 한다. 이 단계에서 지도는 단일 시점의 정확한 복사본이 될 수 없다. 장기 위치추정은 무엇이 변했고 무엇이 유지되는지를 학습하고 판단하는 문제이다. ### 2.3 LT-Mapper: 여러 시점의 세계를 함께 유지하는 문제 LT-Mapper는 서로 다른 시간에 관측된 세계를 하나의 고정 지도에 강제로 압축하기보다, 시간에 따른 상태와 변화를 함께 다루는 방향을 제시한다. 이는 mapping을 단일 결과물 생성에서 장기적인 상태 관리로 확장한다. 로봇이 변화하는 환경에서 지속적으로 작동하려면, 과거의 상태를 삭제하거나 현재 상태로 덮어쓰는 것만으로는 부족하다. 언제 어떤 상태가 관측되었는지, 그 차이가 일시적인지 구조적인지, 현재 임무에는 어느 상태가 관련되는지를 판단할 수 있어야 한다. ### 2.4 HeLiPR: 이질적인 센서 경험을 연결하는 문제 서로 다른 LiDAR와 플랫폼은 동일한 공간을 서로 다른 해상도, 시야, 노이즈 특성으로 경험한다. HeLiPR의 문제는 단순한 센서 변환이 아니라 이질적인 경험 사이에 공통의 공간적 관계를 구성하는 것이다. 이 문제는 이후 다중 로봇 경험공유의 기반이 된다. 경험은 센서와 몸체로부터 독립된 순수한 정보가 아니기 때문에, 경험의 출처와 관측조건을 고려한 연결이 필요하다. ### 2.5 ScaleMaster와 MR.ScaleMaster: 여러 시각 경험을 metric world로 통합하는 문제 단안 시각 경험은 각 시퀀스가 서로 다른 scale ambiguity를 가질 수 있다. 여러 경험을 하나의 metric world로 통합하려면 각 경험의 내부 구조뿐 아니라 경험 사이의 척도와 관계를 함께 추론해야 한다. 이 연구는 foundation geometry를 단일 영상의 재구성 문제에서 여러 경험의 일관된 통합 문제로 확장한다. 중요한 것은 한 번의 관측에서 가능한 한 많은 geometry를 얻는 것만이 아니라, 서로 다른 관측에서 만들어진 부분적 이해를 어떻게 하나의 행동 가능한 세계모델로 결합하는가이다. ### 2.6 LT-Mem: 어떤 과거를 현재에 사용할 것인가 기억이 많아질수록 검색의 문제는 더 어려워진다. 가장 비슷한 과거 경험이 현재의 의사결정에 가장 유용한 경험이라는 보장은 없다. LT-Mem이 제기하는 핵심 문제는 현재 상황에서 어떤 기억을 신뢰하고 사용할 것인가이다. 여기서 장기기억은 단순한 저장소가 아니다. 경험의 최신성, 조건, 성공과 실패, 현재 관측과의 일치, 예상되는 행동가치가 함께 고려되어야 하는 의사결정 구성요소이다. ### 2.7 Implicit Goal과 VLN: 인간 의도에 관련된 경험을 선택하는 문제 최근의 implicit goal navigation과 vision-language navigation은 공간기억의 검색 조건에 인간의 의도를 도입한다. 인간의 지시는 완전한 좌표나 명시적 목표로 주어지지 않을 수 있다. 로봇은 언어에 포함된 상황, 선호, 제약을 해석하고, 그 의도에 관련된 공간경험을 찾아야 한다. 이 단계에서 APRL의 연구는 장소를 인식하고 지도를 유지하는 문제에서, 인간이 원하는 물리적 결과를 만들기 위해 어떤 공간적 지식을 사용할 것인가의 문제로 확장된다. ### 2.8 Experience 2.0과 SSI로의 수렴 2024년 연구계획은 SLAM을 pose와 map을 추정하는 도구에 한정하지 않고 **Automated Experience Reconstruction Machine**으로 재해석했다. 또한 하나의 journey를 넘어 여러 로봇, 센서, 시간에서 생성된 경험을 결합하는 **Experience 2.0**을 연구대상으로 제시했다. 이후의 spatial memory, implicit human intent, runtime verification and recovery, Situated Spatial Intelligence는 이 방향을 더욱 일반화한다. 지난 연구의 계보는 다음과 같이 요약할 수 있다. **Place Recognition → Lifelong Localization → Multi-Temporal Mapping → Heterogeneous Experience → Metric Integration → Spatial Memory → Human Intent → Runtime Verification and Recovery → Situated Spatial Intelligence** 이 계보를 관통하는 대상은 map이 아니라 **experience의 형성, 연결, 선택, 실행, 수정**이다. ## 제3장. 지도, 경험, 기억, 믿음 APRL의 공간지능을 이해하려면 지도, 경험, 기억, 믿음을 구분해야 한다. 네 개념은 서로 연결되지만 동일하지 않다. ### 3.1 지도는 공간정보의 압축이다 지도는 주로 어디에 무엇이 있는지를 표현한다. 위치, 형상, 연결관계, 의미 범주, 통행 가능성 등을 구조화하여 계획과 위치추정에 사용한다. 지도는 로봇의 공간적 판단에 필수적이지만, 실제 세계 전체를 그대로 포함하지는 않는다. 지도에는 관측되지 않은 영역, 센서 오차, 시간 변화, 표현과정의 생략이 존재한다. 또한 동일한 공간도 임무에 따라 필요한 정보가 다르다. 따라서 지도는 세계 자체가 아니라 특정 목적과 관측조건 아래 구성된 모델이다. ### 3.2 경험은 조건, 행동, 결과를 포함한다 경험은 지도보다 넓다. 경험은 무엇을 보았는지뿐 아니라, 언제 어떤 센서와 몸체로 관측했는지, 어떤 목적을 가지고 무엇을 했는지, 그 행동이 성공했는지 실패했는지, 어떤 비용과 위험이 발생했는지를 포함한다.[4] 예를 들어 “이 위치에 문이 있다”는 정보는 지도에 포함될 수 있다. 그러나 “평일 오전에는 열려 있었고, 특정 크기의 로봇은 통과할 수 있었으며, 최근 시도에서는 잠겨 있어 우회가 필요했다”는 정보는 경험의 구조에 가깝다. ### 3.3 기억은 경험을 현재 판단에 사용할 수 있게 하는 구조다 기억은 과거 경험의 단순한 보관이 아니다. 현재 상황에 관련된 경험을 검색하고, 신뢰도를 평가하고, 행동결정에 사용할 수 있도록 구성된 시스템이다. 기억의 품질은 저장된 항목의 수나 recall accuracy만으로 평가할 수 없다. 궁극적인 평가 질문은 **그 기억을 사용했기 때문에 현재의 행동이 더 좋아졌는가**이다. 즉 기억은 perception의 부속 데이터베이스가 아니라 action quality를 개선하는 의사결정 장치이다. ### 3.4 믿음은 현재 사용할 수 있는 잠정적 이해다 로봇은 현재 관측, 과거 경험, 학습된 prior를 결합하여 세계에 대한 믿음을 형성한다. 믿음은 확정된 사실이 아니라 현재의 증거 아래 가장 타당하다고 판단되는 상태이다. 새로운 관측이나 행동 결과가 들어오면 믿음은 수정되어야 한다. 이 지점에서 다음 문장이 의미를 가진다. > **The map is a hypothesis, not the truth.** 그러나 이 문장은 APRL의 최종 정의가 아니라 **왜 순환적 공간지능이 필요한가를 설명하는 인식론적 동기**이다. 지도가 가설이기 때문에 로봇은 신뢰도를 확인해야 하고, 기억을 조건부로 사용해야 하며, 행동으로 검증하고, 결과에 따라 수정해야 한다. ### 3.5 어떤 장소를 안다는 것 장소를 안다는 것은 geometry를 재구성했다는 뜻만으로 충분하지 않다. 장기간 실제 환경에서 장소를 안다고 말하려면 로봇은 최소한 다음 질문에 답할 수 있어야 한다. - 그 장소는 시간에 따라 언제, 어떻게 변하는가? - 어떤 조건에서 어떤 행동이 성공하거나 실패했는가? - 어떤 과거 경험이 현재에도 유효한가? - 어떤 정보가 낡았으며 다시 관측되어야 하는가? - 현재 과업에는 어떤 기억이 필요한가? - 로봇은 자신의 판단을 어느 정도 확신하는가? - 불확실할 때 무엇을 다시 보거나 누구에게 무엇을 물어야 하는가? 이 정의는 lifelong mapping을 넘어선다. 목표는 오래 유지되는 지도를 만드는 데 그치지 않고, 오래 축적된 경험을 현재의 행동에 적절히 사용하는 것이다. --- ## 제4장. 공간적 이해의 생애주기 APRL의 연구 프로그램은 공간적 이해가 생성되고 사용되고 수정되는 생애주기로 정리할 수 있다.[3] ### 4.1 Construct: 불완전한 관측으로 이해를 구성한다 로봇은 센서관측으로부터 geometry, object, place, relation, affordance를 추론한다. 관측은 부분적이며 센서와 시점에 의존하므로, 구성된 이해는 처음부터 불확실성을 포함한다. ### 4.2 Ground and Verify: 모델을 현실에 접지한다 구성된 모델이 현재의 현실과 일치하는지 확인해야 한다. 이 과정에는 localization, data association, loop closure, change detection, cross-sensor alignment, confidence estimation이 포함된다. ### 4.3 Remember and Update: 경험을 시간에 걸쳐 유지한다 로봇은 모든 관측을 동일한 방식으로 저장할 수 없다. 무엇을 보존할지, 어떤 경험을 병합할지, 상충하는 경험을 어떻게 유지할지, 낡은 정보를 언제 갱신할지를 결정해야 한다. ### 4.4 Query and Select: 현재 판단에 필요한 경험을 선택한다 검색의 기준은 단순한 유사도가 아니다. 현재 과업, 위험, 정보의 최신성, 예상 행동가치, 인간의 의도를 바탕으로 경험을 선택해야 한다. ### 4.5 Align and Communicate: 인간의 의도와 공간지식을 연결한다 인간의 언어는 좌표로 완전하게 주어지지 않는다. 로봇은 표현되지 않은 선호와 제약을 해석하고, 불확실성이 클 때에는 질문을 통해 의도를 명확히 해야 한다. ### 4.6 Execute: 이해를 물리적 결과로 전환한다 공간적 이해는 planning, navigation, manipulation, interaction을 통해 실제 행동이 된다. 이 단계에서 센서, 컴퓨팅, 몸체, 동역학, 안전제약이 결합된다. ### 4.7 Verify and Revise: 행동 결과로 이해를 수정한다 행동의 성공, 실패, 비용, 예상과 실제의 차이는 새로운 증거이다. 로봇은 이 증거를 사용하여 지도, 기억, 믿음, 계획전략을 수정한다. 전체 구조는 다음과 같다. **World → Observation → Experience → Memory → Belief → Intent → Action → Outcome → Belief and Memory Revision** 이 구조에서 공간지능은 representation이 아니라 **지속적으로 실행되는 epistemic control loop**이다. --- ## 제5장. 지식은 과업 의존적이다 APRL의 중요한 명제 중 하나는 좋은 world model이 세계를 가장 자세하게 표현한 모델과 동일하지 않다는 것이다. 좋은 world model은 현재의 목적에 필요한 정보를 올바르게 보존하고, 적절한 시점에 검색하고, 신뢰도를 평가하여 행동에 사용할 수 있는 모델이다. ### 5.1 동일한 공간, 서로 다른 지식 동일한 건물도 가정지원, 병원 안내, 배송, 구조 임무에서 요구되는 정보가 다르다. 가정지원 로봇은 사용자 선호와 생활패턴을, 병원 안내 로봇은 접근성·혼잡도·운영시간을, 배송 로봇은 통행 가능성과 시간비용을, 구조 로봇은 위험지역과 생존 가능성을 우선할 수 있다. 세계에 관한 모든 정보를 동일한 수준으로 저장하고 처리하는 것은 계산적으로 비효율적일 뿐 아니라 판단에도 도움이 되지 않는다. 과업은 무엇을 관측하고, 기억하고, 검색하고, 검증할지를 결정한다. ### 5.2 Semantic similarity와 decision relevance 과거 경험을 검색할 때 언어적 또는 시각적 유사성은 유용하지만 충분하지 않다. 현재 판단에 필요한 것은 의미적으로 비슷한 기록보다 행동결정에 관련된 기록일 수 있다.[4] Decision relevance는 다음 요소를 포함할 수 있다. - 현재 경로가 실제로 통행 가능한가? - 정보가 얼마나 오래되었는가? - 현재 센서관측과 일치하는가? - 해당 경험을 사용하면 위험이나 비용이 줄어드는가? - 현재 로봇의 몸체와 센서조건에도 적용 가능한가? - 현재 인간의 의도와 제약에 부합하는가? 따라서 APRL의 질문은 “세계의 참된 표현은 무엇인가?”에서 “이 agent가 지금 올바르게 행동하기 위해 무엇을 알아야 하는가?”로 이동한다. 이는 공간지능에 대한 실용주의적 정의이다. ### 5.3 기억의 최종 평가지표 기억 시스템을 평가할 때 retrieval accuracy만 높이는 것은 충분하지 않다. 검색된 기억이 잘못된 계획을 유도하거나 낡은 경로를 추천한다면 높은 recall은 좋은 행동으로 이어지지 않는다. 기억의 최종 성능은 다음과 같은 행동수준 지표와 연결되어야 한다. - 성공률과 임무완수 시간 - 위험과 에너지 비용 - 불필요한 재탐색의 감소 - 인간 개입과 clarification 횟수 - 실패 후 회복시간 - 다른 로봇에게 이전된 경험의 효용 이 관점에서 memory는 과거를 잘 재현하는 능력이 아니라 **현재와 미래의 행동을 개선하는 능력**이다. ## 제6장. 행동은 이해를 검증하는 수단이다 전통적인 파이프라인은 perception, reasoning, action을 순차적으로 배치한다. 이 구조에서 action은 이미 완성된 인식과 추론의 결과처럼 보인다. **Perception → Reasoning → Action** 그러나 실제 환경에서 행동은 이해를 사용하는 단계인 동시에 이해를 시험하는 단계이다. **Perception → Belief → Action → Outcome → Belief Revision** ### 6.1 행동결과가 증거가 되는 이유 로봇이 기억을 바탕으로 문이 열려 있다고 판단하고 그 경로를 선택했다고 가정하자. 현장에서 문이 열리지 않는다면 이는 단순히 navigation module의 실패가 아니다. 로봇이 사용한 세계모델의 특정 belief가 더 이상 유효하지 않다는 증거이다. 로봇은 이 결과로부터 여러 가설을 구분해야 한다. 문이 일시적으로 잠긴 것인지, 운영시간이 바뀐 것인지, localization이 잘못된 것인지, 다른 문을 동일한 장소로 인식한 것인지, 자신의 몸체로만 통과할 수 없는 것인지를 판단해야 한다. ### 6.2 과학적 행위자로서의 로봇 이 구조에서 로봇의 작동은 다음과 같은 순환에 가깝다. **Hypothesize → Act → Test → Revise** 로봇은 현재의 증거로 가설을 세우고, 행동을 통해 가설을 시험하고, 결과를 이용해 이해를 수정한다. 행동은 perception의 downstream에만 존재하지 않고, 새로운 perception을 생성하는 능동적 실험이다. ### 6.3 실패기록의 의미 실패는 제거해야 할 로그가 아니라 경험의 중요한 일부이다. 어떤 조건에서 어떤 계획이 실패했는지 보존하면 다음 행동에서 동일한 비용을 반복하지 않을 수 있다. 성공과 실패의 조건을 함께 기억할 때 공간기억은 단순한 장면기억에서 행동가능성에 관한 지식으로 발전한다. --- ## 제7장. Resilience는 robustness보다 넓다 Robustness는 주어진 교란과 불확실성 아래에서 성능저하와 실패 가능성을 줄이는 능력이다. Resilience는 실패가 이미 발생했거나 기존 가정이 무너진 뒤에도 상태를 진단하고 전략을 수정하여 임무를 계속 수행하는 능력이다.[5] ### 7.1 회복탄력적 시스템의 단계 회복탄력적 로봇은 다음 기능을 순환적으로 수행해야 한다. 1. **Detect**: 자신의 불확실성, 오류, 실패를 감지한다. 2. **Diagnose**: 실패의 원인과 영향범위를 추정한다. 3. **Acquire**: 필요한 정보를 다시 관측하거나 인간에게 질문한다. 4. **Replan**: 믿음, 기억, 계획, 행동전략을 수정한다. 5. **Resume**: 수정된 전략으로 임무를 계속한다. 6. **Learn**: 이번 결과를 다음 판단에 사용할 경험으로 보존한다. 이 순환은 단순한 exception handling이 아니다. 실패를 지식갱신의 계기로 사용하는 인식론적 과정이다. ### 7.2 실패하지 않는 시스템과 실패를 다루는 시스템 어떤 학습모델도 개방세계에서 발생할 모든 센서고장, 환경변화, 인간의 모호한 지시, 예외적 물리상황을 사전에 포함할 수 없다. 따라서 실제 자율성의 핵심은 실패를 완전히 없애는 것이 아니라, 실패를 감지하고 이해하고 회복하는 능력에 있다. APRL에서 resilience가 중요한 이유는 persistent와 intent-grounded를 실제 운용으로 연결하기 때문이다. 오래된 기억을 무조건 신뢰하면 persistence는 위험해지고, 모호한 의도를 확인하지 않으면 intent grounding은 잘못된 행동으로 이어질 수 있다. Resilience는 지속성과 의도정렬을 안전하게 운용하기 위한 실행구조이다. --- ## 제8장. 지능은 학습된 가중치 안에만 존재하지 않는다 현대 embodied AI와 VLA 연구는 대규모 데이터, foundation model, imitation learning, reinforcement learning을 통해 더 많은 행동능력을 모델에 내재화한다. 이 접근은 강력하지만, 실제 로봇의 모든 상황과 실패를 사전에 weight 안에 compile할 수 있다는 뜻은 아니다. ### 8.1 Prior와 runtime evidence 학습된 모델은 세계와 행동에 관한 prior를 제공한다. 그러나 실제 배치에서는 현재 센서관측, 과거 경험, 인간의 지시, 시스템상태, 행동결과가 계속 들어온다. 로봇은 prior와 runtime evidence를 결합해 현재의 belief를 형성해야 한다. 2024년 연구계획에서 로봇지능을 prior와 runtime sensor evidence의 Bayesian update로 본 관점은 현재의 memory, reasoning, verification, interaction, recovery로 확장될 수 있다. ### 8.2 Runtime harnessing의 의미 Planner, memory, verifier, uncertainty detector가 더 큰 end-to-end model이 등장하면 사라질 임시 보조장치라고 단정할 수 없다. 개방세계에서는 이 기능들을 실행 시점에 조율하는 구조 자체가 지능의 일부일 수 있다.[6] 이를 개념식으로 표현하면 다음과 같다. > **Intelligence = Learned Prior + Current Observation + Experience + Runtime Deliberation + Verification** 이 식은 각 항을 단순히 더한다는 수학적 모델이 아니다. 실제 지능이 학습된 모델과 실행과정의 결합으로 존재한다는 구조적 명제이다. ### 8.3 모델의 능력과 시스템의 능력 모델은 인식, 예측, 언어이해, 행동생성 능력을 제공한다. 그러나 시스템은 언제 모델을 신뢰할지, 어떤 기억을 검색할지, 언제 계획을 세울지, 무엇을 검증할지, 언제 인간에게 질문할지, 실패 뒤 어떻게 회복할지를 결정한다. 따라서 APRL의 관심은 더 좋은 모델을 만드는 문제와 모델의 능력을 실제 환경에서 신뢰할 수 있는 행동으로 조직하는 문제를 함께 포함한다. ## 제9장. 인간은 relevance를 결정한다 APRL에서 인간은 단순한 명령 입력장치나 사용자 인터페이스가 아니다. 인간의 의도는 로봇이 축적한 공간지식 가운데 무엇이 현재 중요한지를 결정하는 조건이다. ### 9.1 언어이해에서 공간 의사결정으로 “다리가 좀 아픈데 다른 층에 가야 한다”는 발화를 생각해 보자. 이 문장은 목표좌표를 직접 제공하지 않는다. 그러나 로봇은 다음 사항을 추론해야 한다. - 사용자가 이동하려는 목적지는 어디인가? - 계단을 피하려는 의도가 포함되어 있는가? - 엘리베이터의 위치와 현재 운행상태는 어떠한가? - 과거에 특정 시간대의 혼잡을 경험했는가? - 사용자의 상태에 맞는 경로와 속도는 무엇인가? - 불확실한 부분을 확인하기 위해 무엇을 질문해야 하는가? 이 문제는 NLP만으로 해결되지 않는다. 언어, 공간기억, 현재 관측, 인간상태, 이동가능성, 불확실성 해소가 결합된 **spatial decision problem**이다. ### 9.2 언어의 역할 APRL에서 language는 spatial intelligence를 query하고 constrain하는 인터페이스로 볼 수 있다. 인간의 표현은 어떤 기억을 검색할지, 어떤 경로를 피할지, 어떤 위험을 우선할지, 언제 clarification을 요청할지를 결정한다. ### 9.3 Intent-Grounded의 정확한 의미 Intent-Grounded는 단순히 언어명령을 잘 따르는 것을 의미하지 않는다. 로봇이 인간의 목적을 물리적 결과의 기준으로 사용하고, 그 목적에 필요한 공간지식을 선택하며, 불확실한 경우 추가상호작용을 통해 의도를 명확히 하는 능력이다. --- ## 제10장. 다중 로봇은 collective spatial experience를 만든다 전통적인 multi-robot SLAM의 대표적 설명은 여러 로봇의 지도를 정합하고 병합하는 것이다. APRL의 경험 중심 관점에서는 목표가 더 넓어진다. > **한 로봇이 치른 경험의 비용을 다른 로봇이 다시 치르지 않게 한다.** ### 10.1 경험은 그대로 복제될 수 없다 로봇마다 센서, 시야, 높이, 이동능력, payload, 안전제약이 다르다. 한 로봇에게 통행 가능한 경로가 다른 로봇에게는 불가능할 수 있고, 한 센서에서 신뢰할 수 있는 landmark가 다른 센서에서는 관측되지 않을 수 있다. 따라서 경험을 공유할 때에는 다음 정보가 필요하다. - **Provenance**: 누가, 언제, 어떤 조건에서 경험했는가? - **Validity**: 경험이 현재에도 유효한가? - **Embodiment**: 어떤 몸체와 이동능력에서 얻은 결과인가? - **Sensor context**: 어떤 센서와 관측범위에서 구성되었는가? - **Outcome**: 어떤 행동이 어떤 비용으로 성공하거나 실패했는가? ### 10.2 집단적 prior 출처와 조건이 보존된 경험은 다른 로봇의 prior가 될 수 있다. 새로운 로봇은 모든 공간을 처음부터 탐색하지 않고, 다른 로봇의 성공과 실패를 참고하여 관측과 행동을 선택할 수 있다. 이 개념을 **collective spatial experience**라고 부를 수 있다. 2024년의 Robot Web과 Experience 2.0은 여러 agent의 경험이 집단적 prior로 축적되는 방향과 연결된다. --- ## 제11장. APRL의 차별적 위치 APRL이 다루는 개별 subproblem을 APRL만 연구하는 것은 아니다. 차별성은 문제의 독점이 아니라 intersection과 research program의 구성방식에 있다. | 연구실 또는 방향 | 대표 질문 | |---|---| | MIT SPARK | 엄밀하고 확장 가능한 spatial perception, world understanding, navigation 알고리즘을 어떻게 구성할 것인가?[8] | | ETH ASL | 복잡하고 도전적인 실제 환경에서 robust autonomy를 어떻게 구현할 것인가?[1] | | Oxford GOALS | 장기간의 불확실성 속에서 더 나은 의사결정을 어떻게 수행할 것인가? | | Stanford ILIAD | 인간과 정렬하고 상호작용하며 학습하는 시스템을 어떻게 만들 것인가?[7] | | **APRL** | **변화하는 세계에 대한 공간적 이해를 어떻게 경험으로 축적하고, 현재 목적에 맞게 선택하고, 행동으로 검증하며, 그 결과를 다음 로봇과 다음 행동을 위한 이해로 되돌릴 것인가?** | APRL의 고유한 위치는 geometry에서 memory로, memory에서 human intent로, human intent에서 runtime reasoning과 physical outcome으로 연구질문을 끝까지 연결한다는 데 있다. 다시 말해 APRL은 “공간을 정확히 표현하는 방법”만을 연구하지 않는다. “공간에 관한 경험이 어떻게 행동에 사용되고, 행동의 결과가 어떻게 다시 지식이 되는가”를 하나의 연속된 연구대상으로 삼는다. ## 제12장. 자율성은 인간의 부재가 아니다 APRL의 자율성은 인간을 시스템에서 제거하는 것을 의미하지 않는다. 자율성은 인간의 의도를 목표로 유지하면서도, 인간이 매 순간 지각, 계획, 오류진단, 회복을 대신하지 않아도 되도록 하는 능력이다. > **Autonomy is not the absence of humans.**
> **It is the ability to fulfill human intent without requiring continuous human intervention.** 이 정의는 intent-grounded와 minimal human intervention의 관계를 명확하게 한다. - Intent-grounded는 **무엇을 달성해야 하는가**를 규정한다. - Minimal human intervention은 **그 목표를 얼마나 독립적이고 지속적으로 달성하는가**를 규정한다. - Resilience는 **실패와 불확실성 속에서도 그 목표를 어떻게 유지하는가**를 규정한다. 따라서 자율성의 최종 지표는 특정 benchmark의 점수만이 아니다. 로봇이 얼마나 오랫동안 인간의 지속적 개입 없이 안전하고 정확한 physical outcome을 만들어 내는가가 중요한 평가기준이 된다.[5] --- ## 제13장. 네 가지 철학적 기반 APRL의 연구 프로그램은 네 가지 철학적 관점이 공간지능 안에서 결합된 것으로 해석할 수 있다. 각 관점 자체를 APRL이 발명한 것은 아니지만, geometry, memory, human intent, runtime reasoning, physical outcome을 하나의 폐루프로 연결하는 방식이 APRL의 위치를 형성한다. ### 13.1 Bayesian epistemology 로봇이 가진 세계지식은 절대적인 truth가 아니라 증거에 따라 계속 수정되는 belief이다. 현재 관측과 과거 경험, 학습된 prior, 행동결과가 belief update에 함께 사용된다. 이 관점은 지도와 기억의 불확실성을 인정하는 데서 끝나지 않는다. 불확실성을 표현하고, 새로운 증거를 얻기 위한 관측과 행동을 선택하고, 믿음을 갱신하는 전체 과정으로 이어진다. ### 13.2 Pragmatism 좋은 representation인지 판단하는 최종 기준은 reconstruction score만이 아니다. 그 정보가 실제 행동을 개선했는지, 위험과 비용을 줄였는지, 인간의 목적을 더 잘 달성했는지가 중요하다. ### 13.3 Situated and enactive cognition 지능은 모델 내부에 정적으로 들어 있는 속성이 아니다. body-world-human interaction 속에서 실행되고 수정된다. 로봇의 몸체와 환경은 지능의 외부조건이 아니라 지능이 성립하는 과정의 일부이다. ### 13.4 Distributed cognition 지능은 한 로봇의 내부상태에만 존재하지 않는다. 여러 로봇과 인간이 가진 경험이 provenance와 embodiment를 유지한 채 공유될 때 집단적 prior가 형성된다. ### 13.5 네 관점의 결합 네 관점은 다음과 같이 연결된다. 1. Bayesian epistemology는 지식을 수정 가능한 belief로 본다. 2. Pragmatism은 belief의 가치를 행동결과로 평가한다. 3. Situated cognition은 행동과 상호작용을 belief 형성의 일부로 본다. 4. Distributed cognition은 형성된 경험을 여러 agent 사이에 이전한다. 이 결합이 APRL의 “spatial intelligence”를 단순한 spatial representation과 구별한다. --- ## 제14장. 연구 프로그램과 공식 설명의 구조 연구 페이지와 research statement에서는 서로 다른 수준의 문장을 구분할 필요가 있다. 하나의 문장에 정의, 동기, 방법, 가치판단을 모두 넣으면 메시지가 약해진다. ### 14.1 제1수준: 연구실을 대표하는 중심 정의 첫 문장은 APRL이 무엇을 연구하는지 긍정적으로 정의해야 한다. > **APRL은 경험이 어떻게 신뢰할 수 있는 행동이 되고, 행동의 결과가 어떻게 더 나은 이해로 되돌아오는지를 연구한다.** > > **APRL studies how experience becomes reliable action - and how action becomes better understanding.** 이 문장은 experience, reliable action, feedback to understanding을 하나의 양방향 구조로 연결한다. 또한 mapping, memory, intent, runtime verification, recovery를 모두 후속 설명으로 도출할 수 있다. ### 14.2 제2수준: 연구대상의 학술적 정의 > **APRL studies the lifecycle of spatial understanding.** 이 문장은 연구대상을 spatial understanding의 lifecycle로 명명한다. 논문, 연구계획, 강연에서 가장 안정적으로 사용할 수 있는 학술적 정의이다. ### 14.3 제3수준: 작동원리 > A robot's understanding of the world is never finished. It is constructed from imperfect observations, maintained across change, aligned with human intent, tested through physical action, and revised from experience. 이 문단은 lifecycle이 어떤 단계로 구성되는지를 설명한다. ### 14.4 제4수준: 인식론적 동기 > **The map is a hypothesis, not the truth.** 이 문장은 첫 문장이 아니라, 왜 지속적인 verification과 revision이 필요한지를 설명하는 동기문장으로 배치한다. ### 14.5 제5수준: 연구축 중심 정의 아래에 다음 순환을 배치하면 GSI, RGP, ASM, CSI, ESI가 병렬 taxonomy가 아니라 하나의 연구철학에서 도출된 프로그램으로 읽힌다. **Model Space → Ground Reality → Remember Experience → Align Intent → Execute and Verify → Revise Understanding** ### 14.6 보조문장 다음 문장들은 문맥에 따라 보조적으로 사용할 수 있다. > **We study how spatial understanding lives.** > **Spatial intelligence is a living understanding shaped by experience and revised through action.** > **From Maps to Experience. From Experience to Action. From Action to Understanding.** 이 문장들은 중심 정의를 대체하기보다 발표제목, 장 제목, 도식 설명으로 사용하는 편이 적절하다. ## 결론. APRL이 연구하는 것은 살아 있는 공간적 이해다 APRL의 연구를 가장 일관되게 설명하는 방법은 개별 기술이나 세 개의 형용사를 나열하는 것이 아니다. 지난 연구는 장소를 다시 인식하는 문제에서 출발하여 시간에 따른 변화, 이질적인 센서 경험, metric integration, 장기기억, 인간 의도, 실행 시점 추론, 실패 후 회복, 다중 로봇 경험공유로 확장되어 왔다. 이 흐름의 중심에는 하나의 순환이 있다. 로봇은 관측으로부터 공간적 이해를 만들고, 과거 경험을 현재의 목적에 맞게 선택하고, 인간의 의도와 정렬하며, 행동으로 믿음을 시험하고, 결과를 새로운 경험으로 저장한다. 따라서 APRL의 공간지능은 세계를 잘 그린 지도와 동일하지 않다. 그것은 변화하는 세계에서 경험을 행동으로 바꾸고, 행동을 다시 이해로 되돌리는 **살아 있고 자기수정적인 과정**이다. > **APRL은 경험이 어떻게 신뢰할 수 있는 행동이 되고, 행동의 결과가 어떻게 더 나은 이해로 되돌아오는지를 연구한다.** 이 정의는 Scan Context에서 lifelong localization, LT-Mapper, heterogeneous mapping, Experience 2.0, ScaleMaster, LT-Mem, implicit human intent, runtime verification and recovery, SSI까지의 연구 궤적을 하나의 논리로 연결한다. 또한 앞으로의 연구를 평가하는 기준도 제공한다. 새로운 연구가 APRL의 프로그램에 속하는가는 그 연구가 공간적 이해를 더 잘 구성하고, 기억하고, 선택하고, 인간과 정렬하고, 행동으로 검증하고, 다음 경험으로 환류하는 데 어떤 역할을 하는가로 판단할 수 있다. --- ## 참고자료 1. [Autonomous Systems Lab, ETH Zurich](https://asl.ethz.ch/the-lab.html) 2. [APRL Publications](https://team-aprl.github.io/publications.html) 3. [APRL의 연구 프로그램과 Situated Spatial Intelligence](https://gisbi-kim.github.io/situated-spatial-intelligence/) 4. [로봇은 지도를 기억해야 하는가, 경험을 기억해야 하는가](https://gisbi-kim.github.io/spatial-experience-memory/) 5. [로보틱스 연구라는 업을 다시 정의하다](https://gisbi-kim.github.io/aprl-research-vision/) 6. [로봇은 더 배워야 하는가, 더 생각해야 하는가](https://gisbi-kim.github.io/vla-runtime-harnessing/) 7. [Stanford ILIAD - Human-AI/Robot Interaction](https://iliad.stanford.edu/research/humanrobot) 8. [MIT SPARK Lab](https://web.mit.edu/sparklab/) 9. [APRL Research](https://team-aprl.github.io/research.html)