CVPR 2026 3D Reconstruction Field Futures Map

0. 왜 하나의 thesis로는 부족한가

지금까지의 분석은 점점 더 강한 하나의 축을 찾으려 했다. `world-state compiler`, `trust kernel`, `liability boundary`, `failure-axis agenda`는 모두 유효한 축이다. 하지만 그것만으로 CVPR 2026 3D reconstruction 전체의 미래를 요약하면 사고가 다시 좁아진다. 3D reconstruction은 robotics/SLAM만의 문제가 아니고, failure benchmark만의 문제도 아니다.

한 줄 thesis는 방향을 선명하게 만들지만, 동시에 다른 미래를 지운다. 이 분야는 하나의 objective로 수렴하는 것이 아니라, 서로 다른 objective들이 3D라는 공통 substrate를 두고 경쟁하는 장으로 가고 있다.

0.1 Six possible futures of 3D reconstruction

Future	무엇을 최적화하는가	무엇을 숨기는가	필요한 benchmark / 연구 wedge
1. 3D as World-State for Agents	Agent가 믿고 행동할 수 있는 state. navigation, manipulation, planning, recovery에 쓰이는 actionable geometry.	Visual fidelity가 action relevance를 보장하지 않는다는 점. downstream failure가 reconstruction metric에 보이지 않는다는 점.	trust kernel, action-relevant geometry, active recovery, liability benchmark.
2. 3D as Generative Control Plane	Video/world generation을 제어하는 scaffold. camera control, scene consistency, editable 4D, controllable world synthesis.	3D가 truth recovery가 아니라 generation control handle로 소비될 수 있다는 점. metric correctness가 약해질 수 있다는 점.	geometry-conditioned video generation, camera-controllable world generation, generation-reconstruction loop, editable 4D scene protocol.
3. 3D as Spatial Data Engine	대규모 3D foundation model을 키우는 data flywheel. unlabeled multiview, synthetic-real mixing, self-supervised 3D pretraining.	좋은 model의 차이가 architecture보다 data curation과 curriculum에서 날 수 있다는 점.	geometry-aware data filtering, 3D pretraining curriculum, synthetic-to-real stress split, self-improving reconstruction dataset.
4. 3D as Digital Twin Infrastructure	산업/도시/제조/건설/물류 현장을 계속 갱신하는 operational twin. monitoring, prediction, maintenance, change detection.	한 번 만든 asset보다 update cost, sensor drift, change validity, operational latency가 더 중요하다는 점.	change-aware reconstruction, degradation-aware twin, drift/update policy, cost-aware reconstruction benchmark.
5. 3D as Embodied Memory / Long-Horizon Context	Agent나 system이 장면을 오래 기억하고 다시 불러오는 persistent spatial memory. object identity, memory compression, forgetting.	모든 geometry를 저장하는 것이 지능이 아니라 무엇을 기억하고 지울지 결정하는 것이 핵심이라는 점.	persistent memory benchmark, object re-identification over time, semantic-geometric conflict resolution, memory budget vs task success.
6. 3D as Evaluation / Governance Layer	3D state를 언제 신뢰하면 안 되는지 정의하는 rule-setting layer. failure language, liability boundary, abstention.	field를 지배하는 것은 method가 아니라 metric과 죄목일 수 있다는 점.	failure taxonomy, liability benchmark, abstention metric, cross-domain evaluation protocol.

0.2 Future 간 충돌이 진짜 신호다

충돌	왜 중요한가	연구 기회
Generative control vs Metric truth	생성 모델은 controllability와 plausibility를 원하지만, agent state와 digital twin은 metric accountability를 원한다.	plausible geometry와 accountable geometry를 구분하는 metric, generation output의 geometric liability audit.
Data engine vs Evaluation governance	대규모 pretraining은 scale을 밀지만, evaluation layer는 어떤 data가 위험한 failure를 숨기는지 묻는다.	geometry-aware data curation, failure-balanced pretraining set, blind-spot mining.
Digital twin vs Long-horizon memory	digital twin은 지속 갱신을 원하고, memory system은 압축과 forgetting을 원한다.	update cost와 memory budget을 함께 보는 persistent twin benchmark.
Agent state vs Passive reconstruction	agent는 더 봐야 할지 결정해야 하지만, 대부분 benchmark는 주어진 view에서 output만 평가한다.	active acquisition policy, recovery view budget, information gain under motion cost.

0.3 Portfolio view: 무엇을 버리고 무엇을 잡을까

좋은 랩 전략은 여섯 future 중 하나를 정답으로 고르는 것이 아니다. 핵심은 서로 다른 future가 만나는 interface를 잡는 것이다. 예를 들어 `Generative Control Plane`과 `Evaluation Governance`가 만나는 지점은 generated 3D world의 truthfulness benchmark가 되고, `World-State for Agents`와 `Spatial Data Engine`이 만나는 지점은 action-relevant 3D pretraining data curation이 된다.

Interface bet	왜 강한가	첫 논문 형태
Agent State x Evaluation Governance	robotics/embodied deployment가 커질수록 3D state의 책임 경계가 피할 수 없는 문제가 된다.	Foundation 3D liability benchmark.
Generative Control x Metric Truth	world generation이 커질수록 plausible 3D와 physically accountable 3D의 차이가 커진다.	Geometry truthfulness audit for generated 4D worlds.
Spatial Data Engine x Failure Mining	대형 모델 경쟁에서 작은 랩이 잡을 수 있는 축은 data scale이 아니라 blind-spot mining이다.	Failure-balanced 3D pretraining dataset / curation protocol.
Digital Twin x Long-Horizon Memory	operational twin은 한 번 복원하는 문제가 아니라 무엇을 언제 갱신할지의 문제다.	Change-aware persistent spatial memory benchmark.

1. Failure Axis Agenda: trend thesis에서 연구주제 제안으로

이전 분석의 약점은 "3D reconstruction이 spatial memory / world-state compiler / trust kernel로 간다"는 큰 방향을 말했지만, 그 방향이 곧바로 연구주제 선정의 새 축으로 바뀌지는 않았다는 점이다. 더 강한 분석은 "어떤 주제가 뜨는가"가 아니라 "분야 전체가 반복해서 실패하지만 아직 죄목으로 부르지 못하는 것은 무엇인가"를 정의해야 한다.

CVPR 2026의 3D reconstruction은 이미 "더 잘 복원하는가"의 단계에서 "믿고 행동해도 되는가"의 단계로 넘어가고 있다. 그런데 분야는 아직 이 전환에 필요한 실패 언어를 갖고 있지 않다. 다음 강한 연구주제는 새로운 3D model이 아니라, foundation 3D가 책임져야 할 실패를 이름 붙이고 측정 가능하게 만드는 것이다.

0.1 새 죄목 5개

새 죄목	정의	왜 지금 중요한가	측정 후보
Action-Irrelevant Geometry	reconstruction score는 좋지만 downstream action에 필요한 정보가 빠져 있는 실패. geometry가 보기에는 그럴듯하지만, robot이 움직이고 잡고 피하는 데 필요한 cost, collision, affordance, freespace와 연결되지 않는다.	3DGS, occupancy, world model이 agent state로 들어가면서 "보이는 3D"와 "행동 가능한 3D"의 차이가 커진다. 이 차이를 측정하지 않으면 visual benchmark가 실제 autonomy를 배신한다.	action-critical region error, reconstruction-to-control-cost transfer, geometry error vs navigation/manipulation failure, control-relevant uncertainty calibration.
Confidence Without Accountability	모델이 그럴듯한 3D를 자신 있게 내지만, 언제 틀렸는지 말하지 못하는 실패. uncertainty가 있더라도 실제 decision boundary나 abstention policy로 연결되지 않는다.	curated set에서 `foundation/prior` claim은 210건, `robustness`는 149건이지만 `failure`는 6건, `outlier`는 4건, `abstention`은 0건이다. 즉 field는 강한 prior를 만들고 있지만 책임 언어는 빈약하다.	high-confidence wrong geometry rate, failure prediction AUROC, abstention precision/recall, uncertainty-to-downstream-failure calibration.
Static-State Laundering	dynamic world를 static map처럼 그럴듯하게 세탁하는 실패. moving object, transient structure, occlusion artifact가 persistent map에 잘못 bake-in된다.	Dynamic/4D, Gaussian, benchmark, robotics cluster가 강하게 교차한다. 이는 dynamic reconstruction이 새 topic이어서가 아니라 static-map assumption이 무너지고 있다는 신호다.	map contamination rate, dynamic object invalidation latency, reappearing object identity consistency, state revision accuracy, temporal belief correction cost.
Pose-Free Amnesia	pose/calibration 없이 결과는 나오지만, 그 결과가 어떤 metric 책임을 지는지 잊어버리는 실패. pose uncertainty가 해결된 것이 아니라 model 내부로 숨겨진다.	pose-free, calibration-free, SfM-free reconstruction 흐름은 강해지고 있다. 이것은 SLAM의 승리도 패배도 아니라, SLAM prerequisite이 black-box prior 안으로 흡수되는 현상이다.	hidden scale drift, calibration perturbation sensitivity, sparse-view pose ambiguity, metric consistency under sensor shift, pose-free confidence collapse.
Passive-View Bias	주어진 view에서는 잘하지만, 언제 더 봐야 하는지 모르는 실패. embodied agent가 필요한 것은 single-shot reconstruction이 아니라 uncertainty를 줄이기 위한 acquisition policy다.	active reconstruction, active mapping, streaming 4D, trajectory-conditioned occupancy가 이미 신호를 낸다. 그러나 많은 논문은 여전히 "주어진 input에서 output을 만든다"는 passive protocol에 묶여 있다.	next-best-view under uncertainty, information gain per motion cost, recovery view budget, active reconstruction success after first failure.

0.2 왜 이것이 research topic인가

교수 코멘트의 기준	이 페이지의 새 적용
새로운 해법보다 아직 이름 붙지 않은 실패를 찾는다	Foundation 3D의 5개 실패 죄목을 정의한다.
트렌드가 숨기는 변수를 찾는다	VGGT/3DGS/4D의 성능 경쟁 뒤에 있는 action relevance, accountability, state contamination, hidden pose uncertainty, active acquisition을 끌어낸다.
남들이 풀고 있는 문제보다 잘못 재고 있는 문제를 잡는다	PSNR/Chamfer/depth error가 놓치는 liability benchmark를 제안한다.
논문 하나가 아니라 질문의 공급망을 만든다	failure taxonomy -> benchmark -> trust kernel -> active recovery -> standardization으로 이어지는 연구 프로그램을 만든다.
틀려도 남는 주제여야 한다	가설이 틀려도 failure taxonomy, stress protocol, negative result, baseline comparison, benchmark가 남는다.

0.3 4-paper research program

Paper	목표	핵심 산출물	왜 오래 가는가
Paper 1. Failure Taxonomy and Benchmark	Foundation 3D가 agent decision에서 실패하는 5개 죄목을 정의하고 측정한다.	failure taxonomy, stress dataset, metric suite, baseline audit.	방법론이 아니라 평가 언어를 만든다.
Paper 2. Trust Kernel	VGGT/3DGS/pose-free output을 믿을지, 보류할지, backend로 보정할지 결정하는 arbitration layer를 만든다.	uncertainty calibration, abstention policy, state invalidation rule, factor-backend interface.	SLAM을 legacy pipeline이 아니라 liability layer로 재정의한다.
Paper 3. Active Recovery and Acquisition Policy	실패 가능성이 높을 때 추가 관측을 요구하고, 어떤 view를 더 봐야 하는지 결정한다.	next-best-view protocol, recovery view budget, information gain vs motion cost benchmark.	reconstruction을 passive inference에서 embodied information gathering으로 옮긴다.
Paper 4. Standardization Across CV and Robotics	visual reconstruction metric과 robotics task metric을 연결하는 shared evaluation protocol을 만든다.	cross-domain benchmark, metadata contract, downstream task adapters, reproducible leaderboard.	CV와 robotics 사이의 rule-setting 위치를 잡는다.

0.4 한 문장 주제화

현재 3D reconstruction은 visual fidelity와 geometric accuracy를 기준으로 발전해왔지만, embodied deployment에서는 action-relevant failure, accountability, dynamic state contamination, hidden pose uncertainty, active acquisition cost가 병목이다. 본 연구 agenda는 이 실패들을 처음으로 측정 가능하고 최적화 가능한 대상으로 만들며, foundation 3D liability evaluation이라는 새로운 연구축을 제안한다.

2. Supporting Evidence: 436편 core/bridge를 다시 읽으면 무엇이 보이는가

이 페이지의 advanced taxonomy를 실제 CVPR 2026 3D reconstruction curated set에 적용했다. 기준은 864편 strict 후보 중 `core_reconstruction` 362편과 `strong_bridge` 74편, 총 436편이다. 그중 relevance confidence가 high인 논문은 297편이다.

적용 결과의 핵심 판정: CVPR 2026 3D reconstruction의 unseen trend는 "3DGS가 많다" 또는 "VGGT가 뜬다"가 아니다. 진짜 신호는 learned geometry prior, map-like representation, dynamic world update, metric trust gate가 하나의 embodied spatial state interface로 수렴하고 있다는 점이다.

0.1 더 덜 뻔한 판정: 빈도보다 모순이 중요하다

Non-obvious claim	데이터에서 보이는 이상 신호	왜 중요한가
VGGT는 다음 SOTA 주제가 아니라 곧 commodity가 될 가능성이 크다	VGGT lineage는 48편이지만, 그 안에 `FlashVGGT`, `QVGGT`, `HTTM`, `HeSS`, `VGG-T^3`, `Scal3R`처럼 압축, 양자화, token merging, scale-up류 제목이 이미 보인다.	어떤 모델이 벌써 가속/압축/재사용 대상이 된다는 것은 novelty frontier가 아니라 infrastructure primitive로 내려가고 있다는 뜻이다. 따라서 "VGGT를 더 잘한다"보다 "VGGT류 prior가 틀릴 때 system이 어떻게 의심하고 보정하는가"가 더 큰 문제다.
가장 큰 결핍은 failure language다	core/bridge set에서 `foundation/prior` claim은 210건, `robustness`는 149건이지만, keyword scan 기준 `failure`는 6건, `outlier`는 4건, `abstention`은 0건이다.	field는 3D를 agent infrastructure로 밀고 있지만, "언제 쓰면 안 되는가"의 언어가 거의 없다. 이 빈칸은 단순 robustness보다 큰 trust governance 문제다.
Generation은 reconstruction의 downstream이 아니라 경쟁 control plane이 될 수 있다	`Gen3R`, `MotionCrafter`, `WorldStereo`, `GaussFusion`, `Pano3DComposer`처럼 generation과 reconstruction이 섞인 논문들이 geometry를 생성 제어의 조건 또는 부산물로 쓴다.	reconstruction이 독립 task로 남는다는 가정이 흔들린다. 미래에는 geometry가 truth recovery가 아니라 video/world generation을 제어하는 latent handle로 소비될 수 있다.
Pose-free 흐름은 SLAM의 승리가 아니라 SLAM prerequisite의 해체다	`BA-GS`, `No Calibration, No Depth, No Problem`, `Pose-Free Omnidirectional Gaussian Splatting`, `Learning 3D Representations from Unposed Multi-View Images` 같은 제목들이 반복된다.	CVPR 쪽 압력은 "정확한 pose를 먼저 구하자"가 아니라 "pose/calibration 없이도 그럴듯한 3D를 만들자"다. robotics 쪽 기회는 이를 반박하는 것이 아니라, pose-free output의 epistemic uncertainty와 failure boundary를 정의하는 데 있다.
Reconstruction은 passive inference에서 acquisition policy로 이동한다	`AREA3D: Active Reconstruction Agent`, `Catch Me if You Can: Active Mapping of Moving 3D Objects`, streaming 4D reconstruction, trajectory-conditioned occupancy world model류 신호가 있다.	다음 질문은 "주어진 이미지에서 3D를 뽑는가"가 아니라 "무엇을 더 봐야 uncertainty가 줄어드는가"다. 즉 reconstruction은 perception problem에서 information-gathering policy problem으로 이동한다.
Benchmark 논문 증가는 성숙이 아니라 불안정성의 증거다	benchmark/evaluation은 core/bridge에서 195편이고, dynamic과 72편, pose/calibration과 51편 교차한다.	field가 안정되면 benchmark는 배경으로 물러난다. 지금 benchmark가 크게 보인다는 것은 아직 무엇을 잘한다고 불러야 할지 합의가 없다는 뜻이다. 이 시기에는 method보다 evaluation rule을 잡는 쪽이 더 큰 영향력을 가진다.

따라서 더 강한 결론은 "3D reconstruction이 spatial memory로 간다"가 아니다. 그것은 아직 안전한 문장이다. 더 불편한 결론은 "foundation 3D가 빠르게 commodity가 되는 동안, field는 아직 failure, abstention, acquisition policy의 언어를 갖지 못했다"는 점이다.

0.2 Observed topic을 latent role로 재해석한 결과

Latent role	Observed evidence in core/bridge set	실제 판정
Geometry Prior	VGGT / feed-forward lineage 48편. high-confidence thesis anchor 안에서는 46편이 VGGT/feed-forward 축으로 남음.	숫자는 작지만 field leverage는 크다. VGGT류는 독립 category라기보다 다른 cluster가 끌어다 쓰는 geometry prior다. 특히 pose/localization 21편, dynamic/4D 17편, robotics/mapping 11편과 교차한다.
Renderable Spatial State	Gaussian / radiance / view synthesis 250편, surface / occupancy 302편, 두 축의 교차 143편.	3DGS는 rendering topic을 넘어서 map representation 후보가 됐다. 다만 action semantics, freespace, collision, uncertainty가 붙지 않으면 rendering codec에 머문다.
Persistent World Memory	Dynamic / 4D 138편. dynamic + Gaussian 80편, dynamic + robotics/mapping 49편, dynamic + benchmark 72편.	static reconstruction 다음 문제는 temporal persistence다. 4D는 단순 motion modeling이 아니라 무엇을 기억하고, 지우고, 재관측 때 갱신할지의 memory 문제로 읽어야 한다.
Trust Boundary	Pose / calibration / localization 108편. pose + robotics/mapping 38편, pose + benchmark 51편.	metric reliability는 부가 metric이 아니라 embodied deployment의 trust boundary다. learned 3D가 agent decision으로 들어가려면 uncertainty, calibration, relocalization, failure rejection이 필수다.
Evaluation Standard	Dataset / benchmark / evaluation 195편. benchmark + dynamic 72편, benchmark + pose 51편.	benchmark cluster는 주변부가 아니다. 다음 field rule을 정하는 축이다. PSNR/Chamfer 중심 평가가 closed-loop reliability 평가로 바뀌는지가 가장 중요한 관전 포인트다.

0.3 실제로 보이는 unseen trend 5개

순위	Unseen trend	왜 unseen인가	다음 연구장
1	Prior-state interface가 새 전장이다	VGGT류 prior 자체는 48편으로 크지 않다. 그러나 pose, dynamic, robotics, Gaussian occupancy 쪽으로 침투한다. 즉 별도 cluster가 아니라 여러 cluster의 backend를 바꾸는 압력이다.	Feed-forward 3D prior를 uncertain measurement로 받아들이는 SLAM/backend.
2	3DGS는 map이 되라는 압력을 받고 있다	Gaussian 250편 중 surface/occupancy와 겹치는 신호가 강하고, robotics/mapping과도 54편 교차한다. 이는 visual representation이 action state로 확장되는 중이라는 뜻이다.	Gaussian + occupancy + scene graph + uncertainty를 묶은 embodied map.
3	Dynamic 4D는 novelty topic이 아니라 static-map assumption의 붕괴다	dynamic/4D가 Gaussian, benchmark, robotics와 동시에 겹친다. 따라서 단순 temporal reconstruction이 아니라 map persistence의 실패 조건을 드러낸다.	Object-centric 4D memory, update/forgetting policy, dynamic relocalization.
4	Evaluation 권력이 visual quality에서 decision reliability로 이동한다	benchmark cluster가 dynamic, pose, robotics와 연결되어 있다. 이는 "보기 좋은 reconstruction"만으로는 다음 system claim을 만들기 어렵다는 신호다.	failure prediction, abstention, recovery, closed-loop task success benchmark.
5	Spatial memory가 reconstruction의 상위 문제로 떠오른다	world model, dynamic 4D, embodied mapping, Gaussian occupancy가 서로 다른 이름으로 같은 빈칸을 밀고 있다. 그 빈칸은 persistent, updateable, queryable spatial state다.	Embodied foundation model을 위한 reliability-aware spatial memory stack.

0.4 이 분석이 기존 결론을 어떻게 바꾸는가

기존 읽기	Advanced reading	전략적 결론
VGGT/feed-forward 3D가 뜬다	Geometry prior가 state estimator 안으로 들어오고 있다	VGGT를 따라가는 연구보다 prior-state interface를 정의하는 연구가 더 강하다.
3DGS 논문이 많다	Renderable representation이 map substrate 자리를 노린다	3DGS 단독 개선보다 actionability와 trust를 붙인 hybrid map이 오래간다.
Dynamic/4D가 성장한다	Static map assumption이 깨지는 pressure test다	dynamic object를 outlier가 아니라 memory entity로 다뤄야 한다.
Benchmark/evaluation 논문이 많다	다음 field rule을 정하는 권력 경쟁이다	새 metric을 제안하는 논문이 새 method보다 더 큰 영향력을 가질 수 있다.

3. Three Strategic Theses: taxonomy를 넘어선 field memo

아래 세 thesis는 기존 taxonomy를 더 정교하게 만드는 목적이 아니다. 오히려 taxonomy가 가리는 것을 드러내기 위한 내부 전략 메모다. 핵심 질문은 "무슨 주제가 많은가"가 아니라, "3D reconstruction이라는 이름 아래 실제로 어떤 권력과 책임 경계가 재편되는가"다.

Thesis 1. 3D Reconstruction은 사라지고, World-State Compiler가 된다

지금 3D reconstruction을 여전히 "이미지나 비디오로부터 3D 구조를 복원하는 문제"로 보면 중요한 전환을 놓친다. CVPR 2026의 신호는 더 이상 reconstruction이 하나의 task로 커지고 있다는 것이 아니다. 오히려 reconstruction이라는 이름의 독립성은 약해지고 있다. 3D reconstruction은 점점 더 큰 system 안에서 world state를 컴파일하는 중간 계층으로 흡수되고 있다.

여기서 world-state compiler란 raw sensor input, learned visual prior, temporal observation, language instruction, action context를 받아서 agent가 사용할 수 있는 state representation으로 변환하는 계층을 뜻한다. 이 state는 단순 mesh도 아니고, Gaussian도 아니고, point cloud도 아니다. 그것들은 compiler가 생산하거나 사용하는 중간 표현일 뿐이다. 핵심 output은 "agent가 지금 세계를 어떻게 믿고 있는가"다.

이 관점에서 보면 VGGT, DUSt3R, MASt3R류 feed-forward geometry model은 최종 답이 아니다. 그것들은 compiler의 front-end prior가 된다. 3DGS는 최종 map이 아니다. 그것은 compiler가 appearance, visibility, editable scene representation을 유지하기 위해 사용하는 renderable memory format이다. Dynamic 4D reconstruction은 별도 분야가 아니다. 그것은 compiler가 시간이 흐를 때 state를 어떻게 update하고 invalidate하는지 묻는 문제다. Pose-free reconstruction도 마찬가지다. 그것은 pose estimation이 사라졌다는 뜻이 아니라, compiler가 pose를 explicit prerequisite로 요구하지 않는 방향으로 변하고 있다는 뜻이다.

따라서 앞으로의 핵심 질문은 "어떤 representation이 더 좋은가"가 아니다. 더 중요한 질문은 어떤 system이 heterogeneous observation을 받아서, action 가능한 world state로 안정적으로 컴파일할 수 있는가이다.

이 질문은 기존 reconstruction benchmark의 언어로는 충분히 평가되지 않는다. PSNR, LPIPS, Chamfer, depth error는 compiler의 일부 품질만 측정한다. 그러나 agent 입장에서는 더 중요한 것이 있다. 이 state가 오래 유지되는가? 틀렸을 때 invalidate되는가? 새 관측이 들어왔을 때 갱신되는가? 움직이는 object가 사라졌다가 다시 나타났을 때 같은 entity로 추적되는가? language query가 들어왔을 때 geometric belief와 semantic belief가 충돌하면 어떤 쪽을 믿는가? action 실패 후 state를 수정하는가?

여기서 3D reconstruction의 미래는 "더 좋은 3D 생성"이 아니라 state compilation architecture가 된다. 좋은 연구는 single method 성능을 높이는 것이 아니라, input, prior, representation, uncertainty, memory, action feedback 사이의 interface를 정의한다. 즉, 2027년 이후 강한 연구는 `VGGT + SLAM`, `3DGS + occupancy`, `4D + world model` 같은 조합 자체가 아니라, 그 조합을 가능하게 하는 compiler contract를 제안해야 한다.

이 thesis의 불편한 함의는 명확하다. 3D reconstruction 연구자는 더 이상 "복원 품질"만으로 field를 주도하기 어렵다. field의 주도권은 world state를 정의하는 쪽으로 이동한다. 이것은 SLAM, embodied AI, video generation, simulation, robotics evaluation이 모두 걸린 문제다. 누가 world-state compiler의 표준 interface를 잡는가가 다음 권력의 핵심이다.

Thesis 2. SLAM은 대체되지 않는다. 대신 Trust Kernel로 축소된다

CVPR식 3D foundation model이 강해질수록 "SLAM이 대체되는가?"라는 질문이 반복된다. 이 질문은 반쯤 맞고 반쯤 틀렸다. classical SLAM pipeline의 많은 부분은 분명 약해진다. feature matching, dense correspondence, pose initialization, sparse-to-dense reconstruction 같은 모듈은 feed-forward model에 의해 압박받는다. 그러나 SLAM이 사라진다는 결론은 너무 단순하다.

더 정확한 변화는 SLAM이 full-stack reconstruction pipeline에서 learned world state를 검증하고 보정하는 trust kernel로 축소된다는 것이다.

Trust kernel이란 system이 어떤 3D state를 믿어도 되는지 판단하는 최소 핵심 계층이다. 이 계층은 반드시 모든 geometry를 처음부터 만들 필요가 없다. 오히려 geometry prior는 VGGT류 model이 줄 수 있다. appearance-rich representation은 3DGS가 줄 수 있다. semantic cue는 VLM이 줄 수 있다. 하지만 이 모든 것이 agent의 action으로 들어가기 전에, 누군가는 다음 질문에 답해야 한다.

이 pose는 metric하게 일관적인가? 이 depth는 scale drift가 없는가? 이 object는 실제로 움직인 것인가, 아니면 model hallucination인가? 이 map update는 이전 belief와 충돌하지 않는가? 이 visual prior가 자신 있게 틀린 경우를 어떻게 잡을 것인가? 새 관측이 기존 map을 깨뜨릴 때, state를 고칠 것인가, 관측을 버릴 것인가, 추가 관측을 요구할 것인가?

이 질문들은 classic SLAM이 잘하던 영역과 맞닿아 있다. 다만 역할이 바뀐다. 과거 SLAM은 world state를 생성하는 주체였다. 미래 SLAM은 learned prior가 생성한 world state를 검증하고, 보정하고, 실패를 선언하는 kernel이 된다. 즉 SLAM은 커다란 pipeline에서 작은 module로 줄어드는 대신, 더 critical한 책임을 갖는다.

이 변화는 robotics 연구자에게 양면적이다. 나쁜 전략은 "foundation model이 틀리니 classical SLAM이 여전히 중요하다"고 방어적으로 말하는 것이다. 그건 설득력이 약하다. 좋은 전략은 "foundation 3D가 agent stack에 들어갈수록, trust kernel 없이는 deploy될 수 없다"고 공격적으로 말하는 것이다. 즉 SLAM의 가치를 legacy로 방어하지 말고, liability layer로 재정의해야 한다.

여기서 중요한 키워드는 accuracy가 아니라 liability다. agent가 잘못된 3D state를 믿고 collision을 일으키거나, manipulation을 실패하거나, 잘못된 navigation decision을 내렸을 때 책임은 누구에게 있는가? VGGT prior인가? Gaussian map인가? VLM instruction parser인가? Planner인가? 이 책임 경계를 기술적으로 정의하는 계층이 trust kernel이다.

따라서 다음 세대 SLAM 연구의 핵심은 "더 좋은 trajectory estimation"만이 아니다. 더 중요한 문제는 learned prior와 metric consistency 사이의 arbitration이다. feed-forward model이 그럴듯한 depth를 주지만 loop consistency가 깨질 때 어떻게 할 것인가? dynamic object를 prior가 static structure로 hallucinate할 때 어떻게 reject할 것인가? pose-free reconstruction이 멋진 결과를 내지만 metric scale이 불안정할 때 system은 어느 수준에서 멈춰야 하는가?

이 thesis의 결론은 강하다. SLAM은 대체되지 않는다. 하지만 예전 형태로 살아남지도 않는다. SLAM은 learned spatial intelligence stack의 trust kernel이 된다. 그리고 그 kernel을 먼저 정의하는 연구자가, foundation 3D 시대의 robotics 접점을 장악할 가능성이 크다.

Thesis 3. 다음 경쟁은 성능이 아니라 Liability다

현재 많은 3D foundation / reconstruction 논문은 더 빠르고, 더 일반적이고, 더 적은 view로, 더 그럴듯한 3D를 만든다고 주장한다. 그러나 field가 embodied AI와 robotics로 이동하는 순간, 성능 경쟁만으로는 부족해진다. agent가 3D state를 실제 행동에 사용하기 시작하면, 다음 질문은 "얼마나 잘 맞는가?"가 아니라 "틀렸을 때 누가 책임지는가?"가 된다.

이것이 liability 문제다. 여기서 liability는 법적 책임만을 뜻하지 않는다. system architecture 안에서 어떤 module이 어떤 실패를 감지하고, 어떤 module이 멈추고, 어떤 module이 추가 정보를 요구하고, 어떤 module이 state를 invalidate해야 하는지를 뜻한다. 즉 technical liability다.

현재 3D reconstruction field는 이 언어가 약하다. robustness라는 말은 많지만, robustness는 너무 넓다. uncertainty도 나오지만, uncertainty가 실제 decision boundary로 연결되는 경우는 제한적이다. failure prediction, abstention, outlier rejection, re-query, active observation, state invalidation 같은 용어는 아직 field의 중심 언어가 아니다. 그런데 embodied agent에는 바로 이것들이 필요하다.

예를 들어 robot이 컵을 집으려 할 때, Gaussian representation이 예쁜 view를 렌더링하는 것은 충분하지 않다. object boundary가 실제 grasp에 충분히 믿을 만한지, transparent surface가 hallucinated geometry인지, occluded handle이 실제로 존재하는지, depth uncertainty가 grasp planner threshold를 넘는지 알아야 한다. navigation에서도 마찬가지다. freespace가 실제 freespace인지, dynamic object가 지나간 흔적인지, reflective surface가 corridor로 잘못 복원된 것인지 판단해야 한다.

이런 상황에서 기존 benchmark는 너무 순하다. 평균 depth error, view synthesis quality, reconstruction IoU는 "성공한 상태에서 얼마나 좋은가"를 묻는다. 그러나 liability benchmark는 "실패할 때 어떻게 행동하는가"를 묻는다. 이것은 훨씬 더 어려운 질문이다.

좋은 future benchmark는 다음을 물어야 한다. 모델은 자신이 모르는 장면을 모른다고 말할 수 있는가? sparse view에서 hallucination과 valid inference를 구분하는가? calibration이 틀렸을 때 confidence가 무너지는가? dynamic object가 map에 잘못 bake-in될 때 이를 감지하는가? reflective / transparent / low-texture object에서 failure를 예측하는가? 실패 가능성이 높을 때 additional view를 요구하는가? action 전에 state를 invalidate할 수 있는가?

이 관점에서 보면 다음 field leader는 가장 높은 PSNR을 내는 팀이 아닐 수 있다. 오히려 "3D state를 믿어도 되는 조건"을 정의하는 팀이 더 중요해질 수 있다. 이것은 benchmark, dataset, metric, system protocol, uncertainty representation, active perception policy가 모두 결합된 문제다.

여기서 교수급 또는 TC급 논의의 핵심은 방법론이 아니라 rule-setting이다. 어떤 실패를 failure로 부를 것인가? 어떤 uncertainty를 actionable uncertainty로 볼 것인가? 어떤 상황에서 system이 abstain해야 하는가? 어떤 추가 관측을 요구해야 하는가? reconstruction output을 downstream agent가 사용할 때 필요한 metadata contract는 무엇인가?

다음 경쟁은 단순 성능 경쟁이 아니다. 다음 경쟁은 3D state의 liability boundary를 누가 정의하는가이다.

이 thesis는 3D reconstruction 연구를 훨씬 더 큰 문제로 끌어올린다. 3D는 이제 visual artifact가 아니라 decision substrate다. decision substrate가 되면 반드시 책임 경계가 필요하다. 이 경계를 정의하지 못하는 3D foundation model은 demo로는 강해도, embodied AI infrastructure로는 약하다. 반대로 이 경계를 정의하는 연구는 method 성능이 조금 낮아도 field의 룰을 바꿀 수 있다.

4. 왜 taxonomy를 고쳐야 하는가

기존 taxonomy는 `3DGS`, `NeRF`, `VGGT`, `dynamic 4D`, `SLAM / localization`, `embodied AI`, `metric evaluation`처럼 보이는 주제군을 정리한다. 이것은 현재 논문 분포를 읽는 데는 충분하다. 하지만 상위 수준의 분석은 이미 이름 붙은 군집을 재정렬하는 데서 멈추지 않는다.

교수급 분석의 핵심은 "많이 나온 주제"보다 "아직 이름 붙지 않았지만 여러 클러스터가 동시에 밀고 있는 문제"를 찾는 것이다.

따라서 질문을 바꿔야 한다. "이 논문은 어떤 방법론에 속하는가?"가 아니라 "이 논문군은 미래 spatial intelligence stack에서 어떤 권력과 기능을 차지하려 하는가?"를 물어야 한다.

5. 새 5층 taxonomy

Layer	질문	예시
Layer 0. Observed Method	논문은 표면적으로 무엇을 하는가?	3DGS, NeRF, VGGT, dynamic 4D, SLAM, embodied AI, evaluation
Layer 1. Functional Role	미래 stack에서 어떤 역할을 노리는가?	Geometry prior, spatial state, persistent memory, action interface, trust gate
Layer 2. Hidden Pressure	어떤 기술적 압력이 분야를 밀고 있는가?	optimization의 amortization, rendering의 mapping화, metric accuracy의 trust calibration화
Layer 3. Negative Space	아직 논문화되지 않았지만 곧 병목이 될 빈칸은 무엇인가?	failure prediction, dynamic persistence, map update, calibration drift, abstention
Layer 4. Strategic Bet	어떤 방향이 infrastructure가 되고, 어떤 방향은 demo bubble이 될 것인가?	learned prior와 trustworthy spatial state의 interface 정의

6. Latent Field-Shift Taxonomy

Amortized Geometry Prior

VGGTDUSt3RMASt3Rfeed-forward 3D

숨은 의미: reconstruction이 per-scene optimization에서 foundation prior 기반 inference로 이동한다.

교수급 질문: 이 prior를 final map이 아니라 uncertain SLAM factor로 쓸 수 있는가?

Renderable Spatial State

3DGSNeRFradiance field

숨은 의미: rendering representation이 map representation의 자리를 노린다.

교수급 질문: action 가능한 map인가, 아니면 예쁜 rendering codec인가?

Persistent World Memory

4Ddynamic scenelong-term mapping

숨은 의미: static reconstruction의 한계가 moving world에서 드러난다.

교수급 질문: 무엇을 기억하고, 무엇을 잊고, 무엇을 다시 갱신해야 하는가?

Trust Boundary

uncertaintymetric reliabilitycalibration

숨은 의미: 3D가 agent decision에 들어가면서 "정확도"가 "신뢰 경계" 문제로 바뀐다.

교수급 질문: 틀렸을 때 멈출 수 있고, 모를 때 모른다고 말할 수 있는가?

Evaluation Regime Shift

benchmarkrobustnessclosed-loop

숨은 의미: field의 권력은 방법론보다 evaluation standard에서 발생할 수 있다.

교수급 질문: 다음 표준은 PSNR/Chamfer인가, failure prediction과 closed-loop success인가?

Negative Space

bad dynamicsno failure labelssensor drift

숨은 의미: 아직 이름 붙지 않은 빈칸이 다음 연구 주제가 된다.

교수급 질문: 1년 뒤 모든 시스템이 부딪힐 문제는 무엇인가?

7. Negative Space: 현재 taxonomy가 직접 말하지 않는 것

Unseen Trend	왜 중요한가	연구적 전환
Reconstruction is becoming an interface problem	좋은 3D를 만드는 것보다 learned prior와 metric state가 어떻게 만나는지가 중요해진다.	method competition에서 interface definition으로 이동
3DGS is under pressure to become a map	3DGS는 rendering에는 강하지만 action에는 freespace, collision, affordance, uncertainty가 필요하다.	Gaussian + occupancy + scene graph + uncertainty
VGGT-like models will become probabilistic priors	SLAM을 바로 대체하기보다 SLAM backend의 measurement source가 될 가능성이 높다.	prior as measurement, not prior as final answer
Evaluation moves from visual fidelity to decision reliability	embodied agent는 예쁜 reconstruction보다 실패를 예측하고 회복할 수 있는 state가 필요하다.	PSNR/Chamfer에서 abstention, recovery, closed-loop success로 이동
The next field leader defines the spatial state interface	3D reconstruction, SLAM, embodied AI의 경계가 흐려질 때 표준 interface를 잡는 쪽이 field를 주도한다.	persistent spatial memory stack의 표준화

가장 큰 리스크는 "많이 보이는 키워드"를 미래로 착각하는 것이다. unseen trend는 빈도보다 결핍, 충돌, interface 부재에서 더 자주 나온다.

8. Flagship Agenda

Reliability-Aware Spatial Memory for Embodied Foundation Models

여러 연구 아이디어를 병렬로 나열하기보다 하나의 agenda로 묶는다. 핵심은 feed-forward 3D foundation model이 빠른 geometry prior를 제공하고, SLAM/backend가 이를 metric belief로 보정하며, embodied agent가 이 belief를 persistent memory로 사용하는 stack이다.

축	핵심 질문	연구 형태
Prior as Measurement	VGGT/DUSt3R류 출력을 hard map이 아니라 uncertain factor로 넣을 수 있는가?	foundation 3D prior + factor graph / differentiable BA / online correction
Map as Memory	Gaussian, occupancy, scene graph를 agent가 갱신 가능한 persistent spatial memory로 만들 수 있는가?	hybrid representation, object-centric 4D memory, map update and forgetting
Evaluation as Trust	3D model은 언제 자신이 틀렸다는 것을 알고 멈추거나 재질의할 수 있는가?	failure prediction, abstention, re-localization, dynamic recovery, closed-loop success

9. 실행계획과 완료된 반영

기존 분석의 method taxonomy를 `Observed Topic Taxonomy`로 보존했다.
436편 core/bridge set을 `Functional Role`, `Hidden Pressure`, `Strategic Bet` 기준으로 재해석했다.
`Negative Space` 섹션을 만들어 아직 benchmark화되지 않은 결핍을 정리했다.
연구 제안을 `Reliability-Aware Spatial Memory for Embodied Foundation Models`라는 하나의 flagship agenda로 묶었다.
기존 메인 페이지에서 `Core Analysis`, `Advanced Analysis`, `Methods / Results` 탭으로 페이지 간 이동을 만들었다.

Markdown 기록: advanced_taxonomy_analysis_ko.md, advanced_taxonomy_action_plan_ko.md