로봇은 더 배워야 하는가,
더 생각해야 하는가

1. CorrectNav는 자신이 잘못되었다는 것을 어떻게 아는가

먼저 online self-awareness를 다음과 같이 조작적으로 정의해 보자.

로봇이 실행 중 자신의 관측과 행동 이력을 이용해 현재 정책이 실패하고 있을 가능성을 추정하고, 그 판단에 따라 정지·재관측·재계획·후퇴·질문·복구 모드 전환 중 하나를 능동적으로 선택하는 능력.

이 정의에는 최소한 세 요소가 필요하다.

1. 온라인 실패 또는 불확실성 추정
2. 추정 결과에 따른 런타임 정책 전환
3. 오류의 원인과 상황에 맞는 복구 전략 선택

CorrectNav가 수행하는 절차는 이와 다르다.

CorrectNav는 먼저 학습 데이터의 instruction–oracle trajectory pair에 대해 현재 모델을 다시 실행해 실패 궤적을 수집한다. 이후 모델 궤적과 oracle trajectory 사이의 거리를 계산하고, 이 거리가 사전에 설정한 임계값을 처음 초과하는 시점을 deviation point로 판정한다. 이어 외부 trajectory planner가 그 이탈 지점에서 출발하여 이후 oracle reference point들을 거쳐 목적지로 돌아가는 복구 궤적을 생성한다.[1]

CorrectNav는 이렇게 외부에서 발견된 실패 지점, 복구 궤적, 주변 keyframe의 시각적 설명을 supervision으로 사용해 다시 fine-tuning된다. 논문 역시 추가적인 runtime correction module이나 긴 chain-of-thought 없이 복구 행동을 모델 파라미터에 내재화하는 것을 장점으로 제시한다.[1]

따라서 CorrectNav의 self-correction은 메커니즘 수준의 자기 인식이라기보다, 최종 행동에서 나타나는 암묵적 복구 행동을 의미한다.

CorrectNav는 실행 중 자신이 실패했다는 사실을 명시적으로 진단하는 시스템이라기보다, 이전 학습 과정에서 발견된 실패 조건과 유사한 상황에서 적절한 복구 행동을 재현하도록 학습된 시스템이다.

이는 CorrectNav의 가치를 낮추는 평가가 아니다. 실패 궤적을 폐기하지 않고 고품질 correction data로 전환하는 것은 실용적이고 중요한 공헌이다. 다만 failure recovery와 failure awareness는 명확히 구분해야 한다. CorrectNav가 직접 강화한 것은 전자에 가깝다.

• Failure recovery: 실패 상황에서 복구 행동을 수행하는 능력
• Failure awareness: 현재 실패 중이라는 사실을 판단하는 능력

2. 원래 경로로 복귀하는 능력과 새로운 길을 찾는 능력은 다르다

CorrectNav의 복구 궤적은 deviation point에서 출발해 기존 oracle trajectory의 후속 reference point들을 다시 통과하도록 생성된다.[1]

따라서 논문이 직접 입증하는 것은 대체로 다음 능력이다.

• 학습 중 발견된 실패 패턴에서 행동을 수정하는 능력
• 이탈한 위치에서 기존 정답 경로로 재진입하는 능력
• 실패 궤적을 추가 supervision으로 활용하는 능력
• 익숙한 시각적 단서가 다시 나타났을 때 이전 결정을 철회하는 능력

반면 다음 능력이 충분히 입증되었다고 보기는 어렵다.

• 기존 정답 경로가 물리적으로 차단되었을 때 새로운 우회로를 발견하는 능력
• 환경의 connectivity 또는 topology가 변했을 때 대안 경로를 생성하는 능력
• 목표가 모호하거나 관측이 불충분할 때 판단을 보류하는 능력
• 한 번도 학습하지 않은 failure mode의 원인을 진단하는 능력
• 복수의 대안 계획을 생성하고 위험도와 비용을 비교하는 능력

CorrectNav의 정성적 사례에서는 잘못된 문으로 들어간 뒤 계단을 찾지 못하자 다시 나와 옆문으로 진입하는 행동이 나타난다. 그러나 이것만으로 모델이 “현재 경로가 틀렸다”는 명시적 belief를 형성했는지, 아니면 학습된 관측–행동 패턴에 따라 방향을 전환했는지를 구분하기는 어렵다.[1]

실제 로봇 실험에서도 로봇은 RGB 영상을 원격 NVIDIA A100 서버로 전송하고, 서버의 CorrectNav가 네 개의 action으로 구성된 action chunk를 반환하는 방식으로 동작했다.[1] 즉 시스템은 완전한 onboard failure-aware autonomy라기보다, 원격 추론을 사용하는 학습 기반 navigation policy의 실세계 복구 가능성을 보여준 단계다.

CorrectNav 논문이 직접 공개한 task-specific 계산량은 8대의 NVIDIA A100으로 약 80시간 수행한 navigation fine-tuning이다.[1] 다만 이 수치는 기반 모델의 사전학습 compute가 아니다. CorrectNav는 처음부터 멀티모달 기반 모델을 사전학습한 것이 아니라 LLaVA-Video-7B에서 초기화되며, 이 모델 역시 SigLIP vision encoder와 Qwen2-7B, LLaVA-OneVision의 single-image checkpoint가 축적한 학습 결과를 물려받는다. LLaVA-Video 논문은 video instruction tuning에 128대의 NVIDIA H100을 사용했다고 밝히지만, 학습 시간과 총 FLOPs는 공개하지 않았다. 따라서 CorrectNav가 상속한 전체 upstream pre-training compute를 하나의 정확한 숫자로 환산할 수는 없다.[21]

그럼에도 이 규모는 frontier LLM이 지나온 계산 확장과 비교하면 여전히 제한적이다. AlexNet은 2012년 두 대의 GTX 580으로 5–6일 동안 학습되었지만,[22] OpenAI의 분석에 따르면 가장 큰 AI 학습 실행의 계산량은 AlexNet 이후 2017년까지 이미 30만 배 이상 증가했다.[23] 175B GPT-3의 학습량은 3,640 petaFLOP/s-days로 보고되었다.[24]

따라서 CorrectNav가 “잘못 들어간 뒤 원래 경로로 복귀하는 능력”을 개선했다는 주장은 타당하다. 그러나 “막힌 길을 이해하고 새로운 길을 찾아낸다”거나 “자신이 실패 중임을 온라인으로 자각한다”는 주장에는 별도의 평가가 필요하다.

3. IL과 하네싱: DeepSeek 모먼트가 뒤집은 ‘계산의 위치’

전통적인 robot learning 관점에서는 다음 우선순위가 암묵적으로 받아들여져 왔다.

충분한 demonstration과 계산자원이 있다면 모델을 imitation learning으로 더 학습시키는 것이 최선이다. Memory, planner, verifier, recovery logic 같은 외부 하네싱은 모델이 아직 충분히 학습되지 않았을 때 사용하는 차선책이다.

이 관점에서 지능은 기본적으로 모델 파라미터 안에 저장되는 것이었다. 더 많은 데이터와 GPU를 pre-training 또는 fine-tuning에 투입하면 더 많은 능력이 weight 안에 압축된다. 학습이 끝난 뒤 inference는 이미 만들어진 지능을 한 번 꺼내 쓰는 비교적 단순한 과정으로 간주되었다.

로봇에서도 모델이 실패하면 실패 trajectory를 다시 수집하고, 올바른 action을 라벨링하고, demonstration을 추가해 policy를 재학습하는 것이 정석이었다. Runtime memory, search, reflection, verification은 모델의 불완전함을 보완하는 임시 scaffolding처럼 보였다.

o1과 DeepSeek-R1 이후, inference는 지능을 ‘사용’하는 단계가 아니라 ‘생성’하는 단계가 됐다

2024년 OpenAI o1은 동일한 모델이라도 강화학습에 투입되는 train-time compute뿐 아니라 답변 전에 사용하는 test-time thinking compute가 늘어날수록 성능이 향상된다고 보고했다.[3] 이는 inference가 단지 만들어진 지능을 소비하는 과정이 아니라, 문제를 만난 순간 실질적인 문제 해결 능력을 추가로 구성하는 과정일 수 있음을 보여줬다.

2025년 DeepSeek-R1은 이 변화를 훨씬 더 극적으로, 그리고 공개된 학습 recipe로 보여줬다. DeepSeek-R1-Zero는 reasoning trace를 먼저 imitation하는 SFT 없이도 rule-based reward와 대규모 reinforcement learning을 통해 더 긴 풀이, 자기검증, 되돌아보기, 대안 탐색 같은 행동을 발현했다.[5]

초기 arXiv 공개본에서 AIME 2024 pass@1은 RL 과정 동안 15.6% → 71.0%로 상승했고, majority voting을 사용하면 86.7%에 도달했다. 후속 Nature 논문은 최종 평균 pass@1을 77.9%로 보고한다.[5]

여기서 중요한 것은 단지 벤치마크 점수가 오른 것이 아니다. RL은 모델에게 정답만 가르친 것이 아니라, 추론 시 계산자원을 어떻게 사용할 것인가를 학습시켰다.

• 문제를 여러 단계로 분해한다.
• 중간 결과가 모순되는지 검사한다.
• 잘못된 접근을 철회한다.
• 다른 풀이와 후보를 탐색한다.
• 어려운 문제에는 더 많은 token과 시간을 사용한다.

OpenAI o1이 “답변 전에 생각하면 능력 수준이 달라진다”는 가능성을 세상에 각인시켰다면, DeepSeek-R1은 그것이 폐쇄적 초거대 모델만의 특수한 비법이 아니라 RL과 reward 설계로 재현할 수 있는 새로운 scaling paradigm임을 보여줬다. 이 글에서 말하는 DeepSeek 모먼트는 바로 이 패러다임 전환을 뜻한다.

Snell 등의 연구에서는 문제 난도에 맞춰 test-time compute를 배분하면 단순 best-of-N보다 계산효율을 4배 이상 높일 수 있었고, FLOPs를 맞춘 일부 조건에서는 test-time compute를 사용하는 작은 모델이 14배 큰 모델을 능가했다.[4]

AI 업계의 중심 질문은 “얼마나 큰 모델을 학습할 것인가?”에서 “학습된 모델이 문제를 만났을 때 얼마나 효과적으로 계산하게 할 것인가?”로 이동했다.

이 전환을 로봇에 적용하면 무엇이 달라지는가

현재 다수의 VLA 연구는 여전히 DeepSeek 모먼트 이전의 LLM과 유사한 방식으로 실패를 처리한다. 실패 trajectory를 수집하고, 올바른 행동을 다시 라벨링하고, IL로 모델을 더 굽는다. CorrectNav의 self-correction flywheel도 기본적으로 이 계열에 속한다.[1]

그러나 실제 환경의 모든 long-tail failure를 사전에 수집할 수는 없다. 처음 보는 장애물, 갑자기 차단된 경로, instruction과 관측의 모순, 서로 비슷한 복수의 목표 장소는 계속 등장한다. 이때 필요한 것은 학습 때 저장된 하나의 반사적 행동만이 아닐 수 있다.

• 과거 observation을 다시 검색한다.
• 현재 위치에 대한 복수의 가설을 유지한다.
• 후보 경로를 여러 개 생성하고 비교한다.
• goal-arrival 조건을 별도 verifier로 확인한다.
• 잘못된 계획을 철회하고 직전 junction으로 되돌아간다.
• 정보가 부족하면 추가 관측 또는 clarification을 요청한다.

즉 로봇의 하네싱은 DeepSeek-R1이 내부 reasoning trace에서 수행한 search·reflection·verification을 embodied system 수준으로 확장하는 것이라 볼 수 있다.

IL은 지능을 미리 컴파일하고, 하네싱은 현장에서 지능을 구성한다

DeepSeek 모먼트 이전에는 runtime computation이 모델이 충분하지 못해서 사용하는 우회로처럼 보였다. 이후에는 오히려 반대로 볼 수 있다.

런타임 계산을 사용하지 않는 모델은 빠른 모델일 수는 있어도, 깊게 생각해야 하는 문제에서 일정한 성능 상한에 갇힐 가능성이 높다.

따라서 질문은 더 이상 “모델을 더 학습할 것인가, 아니면 임시로 하네싱을 붙일 것인가?”가 아니다.

어떤 능력은 training time에 weight로 컴파일하고, 어떤 능력은 test time에 memory·search·planning·verification을 통해 구성해야 하는가?

DeepSeek-R1이 LLM에서 test-time compute를 지능의 핵심 scaling axis로 끌어올렸다면, 차세대 VLA의 과제는 이를 물리세계로 확장하는 것이다.

4. VLA는 ‘VLM + Action Expert’만으로 충분한가

많은 최신 VLA는 개념적으로 다음과 같이 이해할 수 있다.

VLM backbone은 장면과 언어 지시의 의미를 이해하고, Action Expert는 로봇의 연속 행동을 생성한다. π₀는 사전학습된 VLM 위에 flow-matching 기반 action generation 모듈을 결합하는 대표적 구조다.[9]

하지만 long-horizon navigation과 manipulation에서는 의미 이해와 저수준 행동 생성 사이에 별도의 숙고 계층이 필요할 수 있다. 이 글에서는 이를 Deliberation/Planning Expert라고 부르겠다.

Planning Expert는 경로·subgoal·행동 순서를 생성한다는 의미가 분명하지만, 실제로 필요한 기능은 단순 plan generation보다 넓다. 상태의 불확실성을 분석하고, 후보 가설을 만들고, 추가 관측의 필요성을 판단하고, 계획을 비교해야 한다. 따라서 범용 명칭으로는 Deliberation/Planning Expert가 더 적절하다.

Manipulation에서는 TAMP Expert라는 이름이 더욱 구체적일 수 있다. Task and Motion Planning은 symbolic task sequence와 geometric motion feasibility를 함께 다루기 때문이다. 반면 VLN과 autonomous driving에서는 route hypothesis, scene interpretation, risk estimation, alternative planning이 중심이므로 Deliberation/Planning Expert가 더 넓게 적용된다.

5. 현재 VLN이 ‘모르면 모른다’고 말하지 못하는 이유

현재 많은 VLN 시스템은 매 step마다 전진, 좌회전, 우회전, 정지 또는 goal arrival 중 하나를 반드시 출력해야 한다. 관측이 불충분해도 무언가를 선택해야 하며, 불확실성 자체를 별도의 시스템 상태로 표현하거나 판단을 유보하고 정보 수집 행동을 취할 인터페이스가 없는 경우가 많다.

그 결과 다음과 같은 실패가 나타난다.

• 벽이나 막힌 통로를 보고도 계속 직진한다.
• 두 복도 중 근거가 약한 하나를 임의로 선택한다.
• 비슷한 가구나 출입구를 목표 landmark로 오인한다.
• 목적지가 아닌데도 goal arrived를 선언한다.
• 이전 판단과 현재 관측이 모순되어도 기존 계획을 유지한다.

이는 반드시 VLM이 시각 정보를 전혀 이해하지 못해서만 발생하는 문제가 아니다. 시스템의 action space에 다음 선택지가 없기 때문일 수 있다.

• 아직 확신할 수 없으므로 정지한다.
• 시야를 회전시켜 다시 관측한다.
• 이전 junction의 영상을 검색한다.
• instruction과 landmark를 다시 대조한다.
• 두 후보 경로를 각각 짧게 탐색한다.
• 직전 확실한 위치로 되돌아간다.
• 목표 도착 조건을 별도 verifier로 검사한다.
• 사용자에게 clarification을 요청한다.

AdaNav는 action entropy를 불확실성 신호로 사용하여 필요한 시점에만 reasoning을 호출한다. 모든 step에서 동일하게 reasoning하지 않고, 어려운 상태에서만 추가 계산을 수행한다.[12]

진정한 online self-awareness는 거대한 VLM 하나가 자연스럽게 획득하는 신비한 능력이라기보다, Monitor → Router → Deliberation/Planning Expert → Verifier → Action Expert 사이의 인터페이스 설계 문제일 수 있다.

6. VLA 발전을 계산구조의 변화로 읽기

다음 구분은 공식적인 역사 구분이 아니라, 대표 연구들이 어디에 계산과 모델 용량을 배치했는가를 중심으로 한 해석이다.

2023년: 단일 시스템 VLA

RT-2는 웹 규모 vision-language pre-training과 robot trajectory learning을 결합하고, 로봇 행동을 언어 token과 같은 형식으로 출력했다.[8] 의미 이해와 action generation을 하나의 autoregressive model에 통합할 수 있다는 가능성을 보여줬다.

2024년: Semantic backbone과 Action Expert의 분리

π₀는 pre-trained VLM의 semantic knowledge와 flow matching 기반 action generation을 결합했다.[9] 느리지만 범용적인 semantic backbone과 빠르고 정밀한 연속 행동을 생성해야 하는 Action Expert가 기능적으로 분리되기 시작했다.

2025년: History, context, data curation

π_0.5는 heterogeneous co-training, semantic subtask prediction, web data, 다양한 robot data를 결합하여 새로운 가정환경에서 장기 manipulation을 수행했다.[10] StreamVLN은 fast-streaming context와 slow-updating memory를 결합하고, sliding window와 3D-aware token pruning으로 장기 history를 제한된 지연시간 안에서 유지하려 했다.[11]

2026년: Reasoning과 closed-loop alignment

VLA-Thinker는 시각적 재관측을 reasoning action의 일부로 다루고, SFT cold start 이후 trajectory-level GRPO로 reasoning–action sequence를 task success와 정렬한다.[13]

Alpamayo-R1은 causal reasoning trace와 trajectory planning을 결합하고, SFT 이후 RL을 사용해 reasoning quality와 reasoning–action consistency를 개선한다. 논문은 최적화된 Blackwell 시스템에서 40개의 reasoning token과 flow-matching trajectory decoding을 포함해 총 99ms latency를 보고한다.[14]

2027년의 유력한 방향은 “더 긴 텍스트 CoT를 생성하는 VLA”가 아니라, 평소에는 빠르게 행동하고 불확실한 순간에만 latent reasoning, action-space deliberation, memory retrieval, search와 verification을 호출하는 efficient onboard reasoning VLA일 가능성이 높다.

7. 더 많은 demonstration만으로 reasoning을 만들 수 있는가

2025년 이후 reasoning LLM의 발전은 단순한 instruction imitation만으로 설명하기 어렵다. DeepSeek-R1-Zero는 SFT를 선행하지 않고도 대규모 RL을 통해 reasoning behavior가 나타날 수 있음을 보였고, DeepSeek-R1은 cold-start data와 다단계 RL·SFT를 결합했다. 이 과정에서 핵심적으로 사용된 알고리즘이 GRPO다.[5]

모든 최신 LLM이 GRPO를 사용하는 것은 아니고, RL이 강력한 pre-training, 데이터 품질, 모델 구조를 대체하는 것도 아니다. 더 정확한 표현은 다음과 같다.

2025년 이후 frontier reasoning model에서는 supervised imitation 이후의 RL-based post-training이 성능을 급격히 끌어올리는 핵심 축으로 부상했다.

VLA에서도 동일한 질문이 제기된다. IL은 “이 관측에서는 이 행동을 하라”는 정답 행동을 학습하는 데 강하다. 그러나 다음 능력은 단순 step-wise imitation만으로 학습하기 어렵다.

• 틀린 판단을 스스로 철회하기
• 정보가 부족할 때 행동을 보류하기
• 여러 후보 계획의 장기 결과를 비교하기
• 실행 중 누적되는 오류를 줄이기
• 위험한 성공과 안전한 성공을 구분하기
• recovery 비용과 mission success를 함께 최적화하기
• 추가 관측에 드는 시간과 정보 이득을 비교하기

따라서 현실적인 학습 recipe는 다음 세 단계의 조합일 가능성이 높다.

1. 1 IL 기본적인 perception–action skill을 확보한다.
2. 2 RL 장기 outcome, recovery, safety와 deliberation policy를 최적화한다.
3. 3 런타임 하네싱 학습 분포 밖의 상황에 적응한다.

VLM backbone이 이미 인터넷 규모의 multimodal pre-training으로 강한 semantic representation을 갖고 있다면, robot demonstration을 추가한다고 VLM 부분의 reasoning 능력이 비례해 계속 증가할지는 불분명하다. 추가 robot data는 Action Expert를 강화하는 데 직접적이지만, semantic VLM 전체를 계속 IL로 업데이트하면 일반적 시각·언어 능력의 forgetting이나 좁은 행동 분포에 대한 과적합이 발생할 수 있다.

8. Reasoning은 왜 현재 비싼가

현재 reasoning model의 비용이 큰 이유는 사용자가 보는 최종 답변보다 훨씬 많은 내부 reasoning token이 생성될 수 있기 때문이다.

OpenAI의 공식 API 문서에 따르면 reasoning token은 사용자에게 직접 표시되지 않지만 context window를 차지하며, output token과 같은 요율로 과금된다. 문제 복잡도에 따라 수백 개에서 수만 개까지 생성될 수 있다.[6]

공식 문서의 예시 호출은 다음 사용량을 보인다.

• Input: 75 tokens
• Total output: 1,186 tokens
• 그중 reasoning: 1,024 tokens
• 사용자에게 전달되는 나머지 output: 약 162 tokens

즉 이 사례에서는 출력 token의 약 86%가 사용자에게 보이지 않는 reasoning에 사용됐다.[6]

로봇 reasoning call의 구체적 비용 예시

로봇이 현재 이미지와 압축된 navigation history를 바탕으로 경로 일치 여부, goal arrival, 후보 복도 선택, backtracking, 추가 관측 필요성을 판단한다고 하자. 한 번의 call에 다음 token이 사용된다고 가정한다.

• 입력 context: 2,000 tokens
• 사용자에게 보이는 결정과 설명: 400 tokens
• 내부 reasoning: 8,000 tokens

2026년 7월 11일 확인한 OpenAI 공개 가격표에서 gpt-5.5 표준 요율은 input 100만 token당 5달러, output 100만 token당 30달러다.[7] 이를 예시 단가로 사용하면 호출당 비용은 다음과 같다.

즉 “reasoning 비용이 90%까지 올라간다”는 말은 충분히 가능한 시나리오다. 다만 정확한 표현은 다음과 같다.

복잡한 reasoning call에서는 hidden reasoning token이 해당 API 호출의 token 비용 중 90% 이상을 차지할 수 있다.

내부 reasoning이 16,000 token으로 늘어나면 reasoning 비용은 0.48달러, 총비용은 약 0.502달러가 되며 reasoning 비중은 약 95.6%다.

운용시간으로 환산하면

위의 8,000-token reasoning call을 5초마다 한 번 수행하면 시간당 720회 호출한다.

• 호출당 비용: 약 $0.262
• 시간당 비용: 약 $188.64
• 그중 reasoning 비용: 약 $172.80

동일한 입력에서 hidden reasoning 없이 400-token 결정만 출력한다면 호출당 비용은 약 0.022달러, 시간당 약 15.84달러다. 이 가상 시스템에서는 reasoning을 추가하면서 시간당 token 비용이 약 12배가 된다.

10대의 로봇을 하루 8시간 운용한다면 계산상 다음 규모다.

• Reasoning 포함: 약 $15,091/일
• Reasoning 제외: 약 $1,267/일

이 계산은 image token, caching, batch processing, 모델별 할인, network 및 기타 시스템 비용을 제외한 설명용 시나리오다. 실제 비용은 모델, 호출 주기, context 압축, reasoning effort에 따라 크게 달라진다.

9. Reasoning의 onboard 전환은 선택이 아니라 비용·안전의 조건이다

현재 reasoning이 느리고 비싸다는 사실은 맞다. 그러나 이것은 embodied AI에서 reasoning을 포기할 근거가 아니라, 오히려 reasoning을 onboard에서 훨씬 효율적으로 실행해야 할 이유다. 로봇은 한 번 답하고 끝나는 chatbot이 아니라 긴 운용 시간 동안 계속 관측하고 판단한다. 예외 상황마다 cloud planner·critic·verifier를 호출하면 로봇 수와 운용 시간이 늘어날수록 token 비용도 거의 선형으로 누적된다. cloud inference가 빨라지더라도 이 반복 비용의 구조는 사라지지 않는다.

비용만의 문제도 아니다. failure detection, local planning, emergency verification을 원격 서버에 의존하면 network latency, 음영 지역, 연결 단절이 곧 행동 지연과 안전 공백이 된다. 대규모 로봇 fleet이 상시적인 cloud reasoning 없이도 최소한의 판단과 복구를 수행하려면, 핵심 deliberation은 결국 로봇 내부로 이동해야 한다.

동시에 이 비용 장벽이 현재 수준에 고정되어 있다고 볼 이유도 없다. 모델 압축, decoding algorithm과 edge hardware가 함께 발전하면 동일한 reasoning 능력을 더 적은 token, 더 짧은 시간과 더 낮은 전력으로 실행할 수 있다. 즉 비용과 안전은 onboard 전환을 요구하고, 기술 발전은 그 전환을 근미래에 현실적인 선택지로 만들고 있다.

다음 기술들이 동시에 발전하고 있다.

• speculative decoding[25]
• KV-cache 최적화와 compression[26]
• quantization과 mixture-of-experts routing[27][28]
• distillation[29]
• latent reasoning과 action-space reasoning[30][13]
• diffusion language model[15][16]
• generative AI·reasoning을 겨냥한 edge accelerator[19]
• uncertainty-triggered adaptive computation[12]

특히 diffusion language model은 token을 왼쪽에서 오른쪽으로 하나씩 생성하는 autoregressive decoding과 달리 여러 token 위치를 병렬적으로 정제할 수 있다. Mercury Coder Mini는 H100에서 1,109 tokens/s, Small은 737 tokens/s를 보고했고,[15] Seed Diffusion Preview는 H20에서 코드 생성 기준 2,146 tokens/s를 보고했다.[16]

이 수치를 범용 multimodal reasoning VLA에 그대로 대입할 수는 없다. 중요한 것은 특정 숫자가 아니라, generation latency가 알고리즘과 하드웨어 발전으로 짧은 기간 안에 order 단위로 변할 수 있다는 방향성이다.

데이터센터 측에서도 NVIDIA는 Vera Rubin이 Blackwell 대비 inference token cost를 최대 10분의 1로 낮추고, inference throughput per watt를 최대 10배 높이는 것을 목표로 제시했다.[20]

속도 향상은 onboard 전환을 가능하게 하지만, 비용과 안전은 onboard 전환을 강제한다. reasoning이 현재 빠르든 느리든, 로봇이 대규모로 배포되려면 cloud에 무제한으로 의존하지 않는 local intelligence를 가져야 한다.

미래의 onboard VLA가 긴 자연어 CoT를 생성할 필요도 없다.

• latent state 안에서 reasoning할 수 있다.
• trajectory candidate를 action space에서 직접 비교할 수 있다.
• 불확실성이 높은 순간에만 slow path를 활성화할 수 있다.
• 큰 teacher의 reasoning behavior를 작은 runtime model에 distill할 수 있다.
• verifier와 planning module을 서로 다른 주기로 실행할 수 있다.

온보드 reasoning의 목표는 로봇이 매 순간 수천 단어를 혼잣말하게 만드는 것이 아니다. 필요한 순간에만 필요한 형태의 deliberation을 제한된 시간과 전력 안에서 실행하는 것이다.

이 전환에는 또 하나의 강한 제약이 있다. 로봇은 데이터센터급 전력과 냉각을 싣고 다닐 수 없다. reasoning은 배터리 수명, 열 설계와 실시간 제어 예산 안에서 실행되어야 하므로, onboard화는 곧 저전력화를 의미한다. distillation, quantization, sparse routing, adaptive invocation과 전용 accelerator는 단순 최적화 기법이 아니라 이 아키텍처를 성립시키는 조건이다.

따라서 대규모 teacher 학습, fleet-level data processing, simulation과 policy update는 데이터센터에 남고, 압축된 runtime model과 safety harness는 onboard에 배치되는 hybrid 구조가 현실적인 종착점이다. 뒤에서 살펴볼 Thor–Alpamayo stack은 바로 이 요구에 대한 산업적 답이다. 거대한 reasoning teacher의 능력을 작은 runtime model로 distill하고, 이를 저전력·고처리량의 차량용 compute에서 실행하려는 구조이기 때문이다.[18][19]

10. 논의를 다시 정리하면: 무엇이 최선이고 무엇이 차선이었는가

처음의 전통적 가정은 다음과 같았다.

전통적 가정

• 최선: 충분한 데이터와 계산으로 end-to-end VLA를 IL로 더 학습한다.
• 차선: 모델이 부족하므로 memory, planner, verifier, recovery rule 같은 하네싱을 외부에 붙인다.

이 가정에서는 모델이 충분히 커지고 충분한 demonstration으로 학습되면 하네싱이 사라져야 한다. 하네싱은 불완전한 모델을 보완하는 engineering patch다.

대안적 가정

• IL은 자주 등장하는 상황과 reflexive skill을 파라미터 안에 압축하는 데 최적이다.
• 하네싱은 미관측 long-tail 상황에서 memory, search, verification과 추가 관측을 통해 적응하는 데 최적이다.
• open-world 환경에서는 모든 예외를 training data로 사전에 열거할 수 없다.
• 그렇다면 하네싱은 임시 보완책이 아니라 open-world intelligence에 구조적으로 필요한 구성요소일 수 있다.

IL이 최선이고 하네싱이 차선인가?
아니면 IL과 하네싱은 서로 다른 계산을 담당하며, long-tail autonomy에서는 하네싱이 오히려 본질적인 최선의 구조인가?

“하네싱이 최선일 수 있다”는 말은 robot learning을 하지 말자는 뜻이 아니다. 보다 정확한 주장은 다음과 같다.

모든 능력을 하나의 end-to-end policy에 압축하는 구조보다, 학습된 policy와 런타임 memory·monitor·planning·verification을 결합한 구조가 동일한 총 계산예산에서 더 높은 open-world robustness를 제공할 수 있다.

11. Thor와 Alpamayo가 보여주는 산업적 방향

NVIDIA가 제시한 DRIVE AGX Thor와 Alpamayo의 조합은 이 변화가 단순한 연구적 상상이 아니라 산업 아키텍처로 구체화되고 있음을 보여준다.

2026년 1월 Jensen Huang은 Alpamayo를 발표하며 “The ChatGPT moment for physical AI is here”라고 말했다. NVIDIA는 Alpamayo를 rare long-tail driving scenario에서 reasoning하고, trajectory와 reasoning trace를 함께 생성하는 reasoning VLA로 설명한다.[17]

중요한 점은 Alpamayo 1 같은 거대한 모델을 차량에 그대로 탑재하는 것이 NVIDIA의 기본 전략이 아니라는 것이다. NVIDIA는 Alpamayo를 대규모 teacher model로 규정하며, 이를 fine-tuning하거나 작은 runtime model로 distill해 실제 AV stack에 통합하는 구조를 제시한다.[17]

2026년 5월 발표된 Alpamayo 2 Super는 34B reasoning VLA teacher model이다. 360도 perception, meta-action, chain-of-causation trace와 trajectory를 제공하며, compact model로 distill해 차량 내부의 DRIVE AGX Thor에서 실행하는 경로가 명시되어 있다.[18]

대규모 teacher model → simulation·closed-loop RL → compact model distillation → Thor onboard deployment → safety monitor와 fallback stack

함께 발표된 AlpaGym은 모델이 simulation 안에서 자신의 driving decision이 초래하는 결과를 경험하도록 하는 closed-loop RL framework다. static dataset만으로 드러나지 않는 compounding error와 long-tail edge case를 학습 loop 안에 넣는 구조다.[18]

DRIVE AGX Thor는 최대 1,000 INT8 TOPS, 2,000 FP4 TFLOPS를 제공하며, generative AI와 high-throughput LLM inference를 겨냥한 automotive SoC다.[19]

이는 IL과 하네싱 중 하나를 선택하는 구조가 아니다. 빈번한 상황은 demonstration과 distillation으로 runtime model에 압축하고, long-tail reasoning은 reasoning supervision과 RL로 강화하며, 배포 시 monitor·planning·safety stack이 위험도에 따라 계산을 선택적으로 사용한다.

Thor–Alpamayo는 “큰 모델을 자동차에서 돌린다”는 이야기가 아니라, train-time intelligence와 runtime intelligence를 분업시키는 시스템 설계다.

12. ‘하네싱이 최선이다’를 연구 명제로 만들려면

앞선 논의를 연구 질문으로 바꾸면 다음과 같다.

동일한 총 계산예산 아래에서, 모든 계산을 추가 IL에 투입한 end-to-end VLA보다 일부 계산을 런타임 memory·planning·verification에 배분한 VLA가 long-tail 환경에서 더 높은 성능과 안전성을 보이는가?

가설 1. Adaptive runtime reasoning은 추가 IL보다 long-tail 계산효율이 높다

동일한 총 GPU 시간 또는 에너지 예산에서 모든 계산을 training-time fine-tuning에 투입한 모델과, 일부 계산을 uncertainty-triggered runtime reasoning에 남겨둔 모델을 비교한다.

• OOD detour success
• blocked-route recovery
• collision rate
• false goal-arrival rate
• intervention rate
• success per unit compute
• Joules per successful episode

가설 2. 실패 인지와 실패 복구는 분리해 평가해야 한다

Recovery policy가 아무리 좋아도 failure detector가 작동하지 않으면 복구가 시작되지 않는다. 반대로 detector가 지나치게 민감하면 불필요한 정지와 backtracking이 증가한다.

• failure probability calibration
• failure detection delay
• false-positive rate
• missed-failure rate
• detection 이후 recovery success
• risk–coverage curve

가설 3. Deliberation/Planning Expert는 새로운 우회로 발견에 필요하다

기존 경로로 복귀하는 평가와 환경 topology가 바뀐 상태에서 새 경로를 발견하는 평가를 분리해야 한다. 학습 시 존재하던 최단 경로를 배포 시 물리적으로 차단하고 다음을 측정한다.

• 새로운 경로 발견률
• exploration overhead
• loop 발생 빈도
• dead-end recognition time
• 잘못된 goal-arrival 선언
• detour efficiency
• map 없이 얻은 route efficiency

Manipulation에서는 이 역할을 TAMP Expert로 구체화할 수 있다. Navigation에서는 route-level Planning Expert 또는 topological deliberation module이 대응한다.

가설 4. Fast–slow VLA는 정확도–지연시간 Pareto frontier를 개선한다

평상시에는 Action Expert만 실행하고, Monitor가 높은 불확실성을 감지할 때만 Deliberation/Planning Expert와 Verifier를 호출한다.

• 평균 및 p95 decision latency
• reasoning invocation rate
• reasoning tokens per episode
• success per dollar
• success per Joule
• calibration error
• intervention-free mission duration

이 구조가 모든 step에서 reasoning하는 모델과 reasoning을 전혀 하지 않는 모델 사이에서 더 나은 Pareto frontier를 형성하는지 검증할 수 있다.

Adaptive harness가 동일 계산예산의 end-to-end IL을 지속적으로 앞선다면, 하네싱은 더 이상 보조적인 engineering trick이 아니다. 하네싱은 open-world embodied intelligence의 핵심 계산 아키텍처가 된다.

결론. 더 많이 굽는 것과 필요한 순간에 더 깊게 생각하는 것

CorrectNav는 실패 궤적을 학습 데이터로 재활용하면 navigation policy의 복구 행동을 개선할 수 있음을 보여준다. 그러나 실행 중 모델이 자신이 잘못되었다는 사실을 명시적으로 판정하는 것은 아니다. 외부 oracle과 거리 기반 detector가 deviation을 판정하고, trajectory planner가 복구 경로를 생성하며, 모델은 그 결과를 imitation한다.

이 방식은 빈번하고 예측 가능한 failure mode를 모델 파라미터에 흡수하는 데 효과적이다. 그러나 실제 세계에는 사전에 완전히 열거할 수 없는 장애물, 환경 변화, 관측 모호성, 목표 충돌과 interaction이 계속 등장한다.

차세대 VLA는 빠른 Action Expert가 대부분의 상황을 처리하고, 가벼운 Monitor가 불확실성과 실패 가능성을 감시하며, 필요한 순간에만 Deliberation/Planning Expert·Memory·Search·Verifier가 작동하는 시스템일 가능성이 높다.

IL은 일반적 행동을 빠르게 만들고, RL은 장기 outcome과 recovery·reasoning policy를 강화한다. 하네싱은 현재 상황에 맞춰 test-time compute를 배분한다.

현재 cloud reasoning은 비싸다. 복잡한 호출에서는 hidden reasoning token이 API token 비용의 90% 이상을 차지할 수 있고, 이를 수초마다 호출하면 로봇 한 대의 시간당 비용이 수십 달러에서 수백 달러까지 증가할 수 있다.

그렇다고 reasoning을 포기할 이유는 없다. Decoding architecture, distillation, latent reasoning, adaptive invocation과 edge hardware가 발전하면 현재의 비용과 지연시간은 빠르게 줄어들 수 있다. 오늘의 경제성이 내년의 경제성과 같다는 보장은 없다.

어떤 지능을 weight 안에 미리 압축하고, 어떤 지능을 런타임에 계산해야 하는가?

그리고 더 근본적인 질문은 이것이다.

하네싱은 충분히 학습되지 않은 모델을 보완하는 차선책인가, 아니면 실제 세계에서 지능이 작동하기 위해 처음부터 필요했던 본체의 일부인가?

DeepSeek 모먼트는 언어모델에서 “생각할 시간”이 지능의 수준을 바꿀 수 있음을 보여줬다. Thor와 Alpamayo가 제시하는 teacher–RL–distillation–onboard stack은 그 원리가 물리세계로 확장되기 시작했음을 보여준다.