로봇은 지도를 기억해야 하는가, 경험을 기억해야 하는가

1. 같은 장소는 하나의 상태가 아니다

무엇을 map에 넣고 무엇을 memory에 남길지 논하기 전에, 먼저 저장하려는 세계가 어떤 성질을 갖는지 물어야 한다. 현실 공간이 언제나 하나의 상태라면 정밀한 최신 지도만으로 충분할 수 있다. 그러나 장기 운용은 공간의 비정상성을 드러내는 것이 아니라, 애초에 현실 공간이 하나의 고정된 상태가 아니었음을 드러낸다. Oxford RobotCar는 동일 경로를 1년 동안 100회 이상 반복 주행하며 1,000 km가 넘는 데이터를 수집했다. 이 데이터에는 날씨와 조명 변화뿐 아니라 교통, 보행자, 공사와 도로 구조 변화까지 포함된다.[3] 한 번의 survey로 만든 지도가 틀린 것이 아니라, 한 시점의 정답만 보존한 것이 불충분한 셈이다.

장기 autonomy의 가치는 이런 변화를 견디는 데서 끝나지 않는다. STRANDS 로봇은 네 차례의 실제 배치에서 합계 104일 동안 116 km를 이동하며 사용자 정의 작업을 수행했고, 운용 중 축적한 데이터를 이용해 시스템 성능을 개선하는 구조를 실증했다.[1] 장기 운용은 단순한 내구성 시험이 아니라 그 장소에 특화된 지능을 획득할 기회다.

같은 장소가 달라지는 방식은 적어도 네 층으로 나뉜다.

• Appearance: 조명, 날씨, 계절, 센서 노출이 만드는 관측 변화
• Structure: 문, 가구, 공사, 임시 장애물이 만드는 접근성 변화
• Routine: 군중, 엘리베이터, 청소 일정처럼 반복되는 시간 변화
• Embodiment: 로봇 크기, 적재 상태, 배터리와 임무가 만드는 행동 가능성 변화

FreMEn은 occupancy나 landmark visibility를 하나의 고정값 대신 주기적 확률로 모델링하여, 특정 시간의 환경 상태를 예측하고 localization과 navigation을 개선했다.[4] 문이 열려 있을 확률, 복도가 붐빌 가능성, landmark가 가려질 가능성은 좌표만이 아니라 반복 관측의 시간 구조에서 나온다.

수식에서 세로선 오른쪽은 경험을 해석할 때 주어진(given) 조건이다. 즉 spatial experience는 장소와 시간을 제거한 일반적 사건이 아니라, 특정 location과 time에서 어떤 context와 embodiment로 무엇을 보고 행동했으며 어떤 결과를 얻었는지에 대한 조건부 기록이다. 지도는 주어진 공간·시간에서 상태를 추정하지만, 경험은 여기에 action과 outcome까지 결합한다.

장기 운용 로봇에게 장소는 하나의 상태가 아니라 시간·임무·행동 조건에 따른 상태 분포다.

2. 지도와 경험은 무엇이 다른가

같은 장소가 여러 상태를 가진다면, 다음 질문은 그 차이를 하나의 map update에 흡수할지, 아니면 나중에 다시 비교하고 추론할 수 있는 experience로 보존할지다. SLAM과 mapping은 로봇이 공간을 일관된 좌표계 안에 조직하는 핵심 기반이다. 하지만 장기 운용에서 지도는 쉽게 하나의 canonical present, 즉 현재라고 간주되는 단일 상태로 수렴한다. 조명이 달라지거나 가구가 이동하면 새 관측으로 지도를 갱신하고, 이전 상태는 오류나 낡은 정보로 처리하기 쉽다.

반면 경험 기반 navigation은 같은 장소의 서로 다른 모습을 하나로 평균내지 않고, 각각을 다시 불러올 수 있는 appearance mode로 유지한다. Churchill과 Newman은 세 달간 서로 다른 시간대·날씨·조명에서 반복 주행하며 축적한 visual experience들을 이용해 장기 localization을 수행했다.[2] 핵심은 하나의 지도를 계속 고치는 것만이 아니라, 현재와 맞는 과거를 선택할 수 있도록 차이를 보존하는 것이다.

• Geometry: 자유공간, 표면, 형상, 거리와 상대 위치처럼 경험이 관측한 metric spatial evidence
• Topology: 장소·영역 사이의 연결성, 인접성, 도달 가능성과 경로 관계
• Semantics: 객체·장소·사람의 identity, category, function과 이들 사이의 의미 관계
• Where: 경험을 다시 찾을 수 있도록 global·local·topological frame에 연결한 spatial anchor
• When: 관측 시각, 지속 시간, 반복 주기, 계절성과 정보가 유효했던 시간 구간
• Observation: 센서가 직접 획득한 raw evidence와 perception module이 추출한 measurement
• Context: 당시의 임무, 날씨·조명·군중, payload, 운용 상태와 주변 조건
• Action: 로봇이 실행하거나 시도한 command, skill, trajectory 또는 interaction
• Outcome: 행동 이후 발생한 상태 변화, 성공·실패, recovery와 관측된 결과
• Uncertainty: 각 관측·추론·결과가 얼마나 확실하며 어떤 대안 가설이 남아 있는지
• Provenance: 어떤 로봇·센서·모델과 calibration·version으로 생성되었고, 이후 어떻게 공유·수정·검증되었는지에 관한 출처와 생성 이력

따라서 spatial memory는 map을 버리는 대안이 아니라, geometry·topology·semantics 같은 map-like information을 각 경험의 공간적 근거와 함께 보존하는 상위 표현이다. 경험은 지도 위에 덧붙이는 부가 metadata도 아니다. 공간을 과거 행동의 결과와 연결함으로써, “갈 수 있다”를 “이 조건에서 이 방식으로 가면 성공할 가능성이 높다”로 바꾸는 operational knowledge다.

3. 로봇은 공간 경험의 무엇을 기억해야 하는가

Map과 spatial memory를 구분하는 것만으로는 무엇을 어떤 단위로 남겨야 하는지가 정해지지 않는다. 서로 다른 상태를 보존하더라도 다시 찾고 행동에 사용할 수 없다면 memory의 역할을 하지 못한다. raw video를 오래 보존한다고 해서 장기 기억이 생기지는 않는다. 검색할 수 없고 행동으로 연결할 수 없는 기록은 archive일 뿐이다. 반대로 지나치게 압축된 semantic label은 “무엇이 있었는가”는 남기지만, 왜 그 판단을 했는지와 어떤 행동이 성공했는지를 잃는다.

3D Dynamic Scene Graph는 object, wall, room, place, human, robot을 계층적 node로 표현하고, containment·adjacency·spatio-temporal 관계를 edge로 연결한다.[5] 이는 point cloud를 더 작게 만드는 압축법이라기보다, 공간을 질문과 계획이 가능한 관계 구조로 바꾸는 출발점이다. Khronos는 여기에 변화의 시간축을 더해 단기 움직임과 장기 변화를 서로 다른 과정으로 추론하는 dense 4D metric-semantic map을 구성한다.[6]

행동 가능한 spatial experience에는 다음 층이 함께 필요하다.

여기서 episodic, semantic, procedural이라는 표현은 인간 기억을 그대로 복제한다는 주장이 아니다. 서로 다른 갱신 주기와 검색 조건을 가진 정보를 분리하기 위한 engineering abstraction이다. 중요한 것은 이름이 아니라, 현재 관측과 과거 증거 사이의 충돌을 표현하고 행동의 결과까지 되짚을 수 있는가다.

4. 모든 것을 기억하는 것은 task relevance의 답이 아니다

필요한 memory layer를 정의했다고 해서 모든 layer를 항상 같은 해상도로 저장하고 불러와야 하는 것은 아니다. 무엇이 중요한지는 공간 자체가 아니라 현재 임무가 결정한다. 같은 건물도 배달 로봇에게는 출입 권한과 엘리베이터 대기시간이 중요하고, 순찰 로봇에게는 평소 모습과 비정상 변화가 중요하다. 청소 로봇은 바닥 재질과 오염 빈도를, 모바일 매니퓰레이터는 접근 자세와 grasp 성공 이력을 우선해야 한다. “공간을 잘 기억한다”는 말은 임무를 정하지 않으면 완전한 사양이 아니다.

어떤 기억이 현재 정책의 행동 순위, 불확실성 또는 예상 비용을 실질적으로 바꿀 때, 그 기억은 task-relevant하다.

Visual Language Maps는 vision-language feature를 3D map에 결합해 자연어 landmark와 공간 관계로 장소를 질의할 수 있게 했다.[7] ConceptGraphs는 open-vocabulary object와 관계를 graph로 구성해 추상적 언어 질의를 공간·의미 추론과 planning으로 연결한다.[8] 이 흐름은 “어디에 무엇이 있는가”를 task language로 읽는 기반을 만든다.

그러나 task relevance는 검색 결과를 고르는 마지막 단계만이 아니다. Clio는 자연어 task를 조건으로 task-agnostic 3D primitive를 묶고, Information Bottleneck 원리에 따라 해당 임무에 필요한 object와 region을 적절한 semantic granularity로 보존한다.[9] 같은 장면도 “순찰”, “배달”, “사람 찾기”에 필요한 분해능이 다르므로, 임무는 공간 표현 자체의 해상도에 영향을 주어야 한다.

STaR는 task-agnostic multimodal memory를 먼저 만들고, 질의 시 compact하고 중복되지 않은 task-relevant subset을 추출하는 최근 사례다.[12] 이 방향은 storage와 working memory를 구분한다. 즉 모든 가능성을 작은 working context에 미리 압축하는 대신, 넓게 보존한 경험에서 지금 필요한 증거만 제한적으로 불러온다.

5. Semantic similarity와 decision relevance는 다르다

Task relevance는 어떤 기억이 필요하다는 목표를 제시하지만, 그 기억을 실제로 어떻게 찾을지는 별도의 문제다. 현재 instruction과 비슷한 caption을 vector database에서 찾는 것만으로는 부족하다. “회의실로 가라”는 문장과 의미적으로 가까운 기록이 어제 다른 층에서 촬영된 회의실일 수 있고, 좌표가 가까운 기록이 공사 전의 낡은 상태일 수 있다. 검색 결과가 언어적으로 그럴듯하더라도 지금 행동에 유효하다는 보장은 없다.

공간 경험의 retrieval value는 최소한 다음 축을 함께 고려해야 한다.

• spatial proximity와 topological reachability
• temporal context, periodicity와 freshness
• semantic·task similarity
• action과 outcome의 유사성
• 위험도, 정보가치와 현재 관측의 일치 여부
• 검색 latency, memory traffic과 energy

ReMEmbR는 video caption embedding을 위치·시간 정보와 함께 vector database에 저장하고, language model이 반복 질의를 생성해 spatial·temporal memory를 검색하고 추론하도록 했다.[10] 이는 검색 가능한 시공간 기억이 실제 로봇 navigation을 도울 수 있다는 중요한 초기 증거다. 동시에 검색된 기억을 현재 관측으로 검증하고, 제한된 context budget 안에서 무엇을 불러올지 결정하는 runtime policy가 별도로 필요함을 보여준다.

행동 직전의 retrieval은 다음과 같은 폐루프로 동작해야 한다.

1. 1 Question planner가 현재 결정을 바꿀 수 있는 질문을 만든다.
2. 2 Retrieve 공간·시간·객체·행동 index로 후보 episode를 찾는다.
3. 3 Rerank task relevance, freshness, risk와 다양성으로 순위를 다시 매긴다.
4. 4 Verify live perception 또는 active sensing으로 기억의 유효성을 확인한다.
5. 5 Act planner·verifier가 검증된 evidence를 행동과 fallback에 반영한다.

공간 경험이 지능이 되는 순간은 기록될 때가 아니라, 현재 행동의 순위와 불확실성을 바꿀 때다.

6. 기억하는 능력에는 잘 잊는 능력이 포함된다

Decision-relevant retrieval을 설계해도 입력 memory가 제한 없이 증가하면 검색 품질과 실행 비용은 다시 악화된다. retrieval의 문제는 결국 무엇을 남기고 무엇을 통합하거나 버릴지의 문제로 이어진다. 로봇의 센서는 멈추지 않는다. 매 순간의 영상과 point cloud, caption, 위치, 행동을 모두 남기면 저장 용량만 증가하는 것이 아니다. 비슷한 episode가 검색 결과를 지배하고, 오래된 경험이 현재 관측보다 높은 점수를 받으며, memory traffic과 retrieval latency가 계속 증가한다.

따라서 forgetting은 저장 공간을 비우는 사후 청소가 아니라 memory architecture의 일부다. 다만 “오래되면 삭제”처럼 단순해서는 안 된다. 반복 관측은 temporal pattern으로 consolidation하고, 중복 episode는 병합하며, 변화가 잦은 사실에는 짧은 유효기간을 주어야 한다. 서로 충돌하는 믿음은 즉시 덮어쓰지 말고 valid_from, valid_to, confidence, source를 붙여 version으로 관리해야 한다.

freshness가 낮다는 이유만으로 곧바로 삭제할 필요도 없다. 오래된 기억이 현재 결정에 중요하다면 로봇은 active perception으로 다시 확인할 수 있다. 좋은 forgetting policy는 기억과 삭제 사이의 이진 선택이 아니라, 보존·압축·감쇠·재관측 중 무엇이 가장 경제적인지를 선택한다.

7. 공간 경험은 관측이 아니라 행동–결과의 증거여야 한다

Selective forgetting에는 무엇이 다시 행동을 바꿀 수 있는 정보인지 판단하는 기준이 필요하다. 그 기준에서 관측의 희소성보다 중요한 것은 어떤 행동이 어떤 결과를 만들었는가이다. “밤 7시에 서쪽 문이 닫혀 있었다”는 관측만으로는 다음 행동을 결정하기 어렵다. 손잡이를 당겼는지, 사원증을 사용했는지, 적재물을 든 상태였는지, 북쪽 출입구로 우회했을 때 성공했는지가 함께 있어야 경험이 affordance와 recovery knowledge가 된다.

SPTM은 관측한 장소를 node, 이동 가능성을 edge로 둔 topological memory를 만들고, 현재 관측에서 관련 node를 검색해 goal navigation에 사용했다.[13] 이는 모든 과거 영상을 다시 보는 대신 trajectory experience를 planning substrate로 바꾸는 원리를 보여준다. 다만 짧은 탐색 뒤 처음 보는 maze를 푸는 설정이므로, 그 자체가 lifelong memory의 증거는 아니다.

행동은 기억을 읽기만 하지 않고 다시 써야 한다. DynaMem은 RGB-D 관측에 따라 spatio-semantic memory에 새 object를 추가하고, 이동하거나 사라진 evidence를 온라인으로 제거한다.[11] navigation이나 manipulation의 결과가 예상과 다르면, 로봇은 단지 plan을 수정하는 데서 그치지 않고 어떤 조건에서 기존 belief가 틀렸는지 남겨야 한다.

모든 navigation decision에 완전한 causal model이 필요한 것은 아니다. 반복 패턴의 예측만으로도 경로 비용을 낮출 수 있다. 그러나 문을 열거나 물체를 옮기는 것처럼 환경을 바꾸는 행동을 선택하고, 새로운 조건으로 일반화하려면 단순한 상관관계보다 action-conditioned outcome이 중요해진다.

8. Experience 2.0: archive가 아니라 폐루프 시스템

지금까지 representation, retrieval, forgetting과 action–outcome evidence의 요구조건을 각각 살펴봤다. 이제 남은 질문은 이 요소들이 운용 중 어떤 순서로 연결되고 서로를 갱신해야 하는가이다. 이를 하나의 구조로 묶으면, 장기 spatial memory는 단일 database가 아니라 서로 다른 시간척도의 폐루프가 되어야 한다. 아래 구조는 이미 확립된 표준의 이름이 아니라, 장기 공간 경험을 실제 행동과 연결하기 위한 설계 제안이다.

원본과 요약의 관계도 중요하다. caption이나 embedding만 남기면 저장과 검색은 쉬워지지만, 나중에 전혀 다른 임무가 등장했을 때 버린 시각 정보를 되살릴 수 없다. 모든 raw stream을 온보드에 영구 저장할 수도 없다. 현실적인 구조는 낮은 비용의 trace와 provenance를 남기고, task별 index와 summary를 여러 해상도로 만들며, 필요할 때 원 evidence 또는 fleet-level archive로 돌아갈 수 있게 하는 계층형 memory다.

9. 공간 경험은 한 로봇 안에 갇혀서는 안 된다

폐루프 memory가 한 로봇의 lifetime 안에서 잘 작동하더라도, 그 로봇이 보지 못한 시간과 조건은 여전히 공백으로 남는다. 같은 공간을 운용하는 여러 로봇이 있다면 다음 확장 단위는 개별 memory가 아니라 fleet의 collective experience다. 개별 로봇의 경험은 필연적으로 부분적이다. 한 로봇은 아침의 조명을 보고, 다른 로봇은 점심의 군중을 경험하며, 또 다른 로봇은 비가 온 뒤 미끄러운 바닥에서 실패한다. 각 로봇이 자기 memory만 유지한다면 fleet은 같은 장소를 여러 번 다시 배우고, 같은 실패 비용을 반복해서 지불한다. 반대로 관측과 행동 결과를 공유할 수 있다면 한 로봇의 제한된 lifetime을 fleet 전체의 누적 운용 시간으로 확장할 수 있다.

multi-robot SLAM은 이미 공간정보 공유의 가치를 보여준다. Kimera-Multi는 peer-to-peer 통신만으로 여러 로봇의 trajectory와 local mesh를 정렬하고, outlier에 강인한 globally consistent metric-semantic 3D map을 분산 구축했다.[15] 그러나 geometry와 semantic label을 합치는 것은 출발점일 뿐이다. 로봇이 실제로 무엇을 시도했고, 어떤 조건에서 성공·실패했으며, 그 경험이 지금도 유효한지는 map fusion만으로 전달되지 않는다.

이 문제를 일찍 직접 다룬 사례가 Checkout My Map이다. 이 연구는 장기 visual localization을 위해 여러 차량이 서로의 experience map을 공유·갱신·재사용하는 version-control 구조를 제안했고, resource-constrained robot에는 전체 archive가 아니라 현재에 관련된 subset만 배포했다.[14] 즉 fleet memory에서도 핵심은 모든 데이터를 복제하는 것이 아니라, 누가 어떤 경험을 언제 만들었고 어느 로봇에게 지금 필요한지를 관리하는 것이다.

여기서 shared experience는 shared map과 대등한 별도 표현이 아니라, 이를 선택적 공간 층으로 포함할 수 있는 상위 schema다. 공통 metric-semantic map이 구축되어 있다면 episode를 그 지도에 정합할 수 있지만, 반드시 완성된 shared map이 있어야 하는 것은 아니다. 로봇들은 place identity나 local·topological reference만으로도 누가, 언제, 어떤 embodiment로 무엇을 시도했고 어떤 결과를 얻었는지 공유할 수 있다.

공유 가능한 사실과 embodiment-dependent 경험을 구분해야 한다

서로 다른 로봇이 관측한 사실은 동일한 가치로 전이되지 않는다. 드론이 계단의 위치를 알려주는 것은 유용하지만, 드론이 그 경로를 통과했다는 사실은 지상 로봇의 traversability 증거가 아니다. 작은 배송 로봇이 통과한 문폭, 휴머노이드가 연 손잡이, 무거운 적재물을 든 로봇의 에너지 비용도 다른 embodiment에 그대로 적용할 수 없다. 따라서 shared experience는 사실과 affordance를 분리하고, 후자에는 robot body, sensor, controller, payload와 skill version을 조건으로 붙여야 한다.

Collective memory에는 공유 정책이 필요하다

fleet-level data가 다른 로봇의 성능을 높일 수 있다는 증거는 이미 나타나고 있다. OpenBot-Fleet는 72대 로봇이 수집한 navigation data를 cloud에서 학습하고 fleet에 다시 배포하는 폐루프를 구축해, unseen home에서 80%가 넘는 성공률을 보고했다.[16] Open X-Embodiment 역시 22종 robot embodiment의 데이터를 표준 형식으로 모아, 다른 platform의 경험을 활용한 positive transfer를 보였다.[17]

한 로봇의 실패는 다른 로봇이 다시 겪어야 할 사건이 아니라, 다음 로봇의 prior가 되어야 한다.

10. 평가는 얼마나 기억했는지가 아니라 행동이 얼마나 나아졌는가로 해야 한다

경험을 더 오래 보존하고 여러 로봇 사이에 공유하는 구조가 유용하다는 주장은, 실제 행동이 좋아지는지 검증할 때만 연구 가설을 넘어선다. 따라서 평가는 저장량이나 회상 능력에서 멈추지 않아야 한다. memory QA 정확도는 필요한 진단이지만 충분한 평가는 아니다. 어떤 로봇이 “어제 컵이 어디에 있었는가”를 맞혀도, 컵이 옮겨진 오늘 그 낡은 기억을 무시하지 못한다면 행동 시스템으로는 실패한다. 반대로 모든 세부를 회상하지 못해도, 위험한 통로를 피하고 실패 후 빠르게 복구한다면 더 유용한 memory일 수 있다.

benchmark 역시 한 번의 고정된 episode보다 반복 운용을 포함해야 한다. 동일 공간을 여러 주에 걸쳐 운용하면서 문 잠금, 객체 이동, 공사, 시간대별 군중 같은 controlled change를 넣고, 동일한 appearance의 서로 다른 상태와 서로 다른 appearance의 동일 상태를 함께 구성해야 한다. no-memory, static map, full-history oracle, task-relevant memory를 비교하되 QA뿐 아니라 실제 navigation·manipulation 결과를 측정해야 한다.

11. 공간 경험은 runtime intelligence를 위한 계산 자원이다

평가의 중심을 기억 자체가 아니라 행동 변화로 옮기면, 공간 경험의 최종 역할도 선명해진다. Memory는 완성된 답을 제공하는 출력물이 아니라, 현재 상황에서 선택적으로 호출되는 runtime computation의 자원이다. task-relevant memory가 준비되어도 어느 순간에 무엇을 검색할지, 현재 관측과 충돌하면 어느 쪽을 믿을지, 추가 관측에 시간을 쓸지, 과거의 recovery를 재사용할지는 자동으로 결정되지 않는다. 기억은 reasoning과 planning의 입력이고, reasoning은 기억을 호출하고 검증하는 runtime policy다.

메모리 없는 추론은 세계를 매번 다시 발견해야 하고, 추론 없는 메모리는 과거의 행동을 맹목적으로 반복한다.

첫 번째 guiding research question은 로봇이 과거로부터 무엇을 가져와야 하는가를 묻는다. 두 번째 질문은 그렇게 검색된 경험과 현재 관측을 바탕으로, perception·reasoning·memory·planning·verification에 런타임 계산을 어떻게 배분해야 하는가를 묻는다. 두 질문은 별개가 아니다. 더 많은 memory는 더 많은 reasoning cost를 만들고, 더 좋은 retrieval은 필요한 runtime compute를 줄이며, 불확실성은 언제 slow path를 호출할지를 결정한다.