숫자 그림을 보고,
다음 행동을 고르는 AI

01 / 문제 이해하기

숫자를 읽는 데서 한 걸음 더

종이에 손으로 쓴 7이 있습니다. 지금 내가 서 있는 숫자는 3이고요. 목표인 7에 가까워지려면 어떻게 해야 할까요? 우선 1을 더해 4로 가면 됩니다.

이번 모델이 하는 일이 바로 이것입니다. 그림 속 숫자를 보고, 현재 숫자에서 1을 빼거나, 그대로 멈추거나, 1을 더하는 행동 중 하나를 고릅니다. MNIST는 이때 사용하는 손글씨 숫자 이미지 모음의 이름입니다.

한 번에 7로 점프하는 것은 아닙니다. 3에서 4로, 다시 5로 이동하면서 매번 새로 판단합니다. 7에 도착하면 0을 골라 멈춰야 성공입니다. 여기서 0은 ‘숫자 0으로 이동하라’가 아니라 ‘지금 자리에서 그만하라’는 뜻입니다.

02 / 입력 이해하기

그림, 현재 상황, 행동 설명을 함께 줍니다

사람에게도 그림 한 장만 보여주면 무엇을 하라는 건지 알기 어렵겠죠. 모델에도 다음 세 가지를 함께 알려줍니다.

그러면 정답은 누가 알려줄까요? 학습을 준비하는 코드가 그림의 정답 숫자와 현재 숫자를 비교합니다. 목표가 7이고 현재가 3이면 정답 행동은 +1입니다. 이 정답은 모델에게 보여주는 힌트가 아니라, 모델의 답을 채점하는 기준으로 씁니다.

03 / 모델 이해하기

기존 모델에, 이 문제를 푸는 법을 가르칩니다

처음부터 모든 것을 배우게 하지는 않습니다. 이미지와 글을 함께 처리할 수 있는 Qwen3.5-0.8B를 바탕으로 씁니다. 이런 모델을 VLM이라고 부릅니다. 한국어로 풀면 ‘이미지와 언어를 함께 다루는 모델’입니다.

LoRA는 기존 계산에 작은 수정분을 더합니다

모델이 학습한다는 것은 내부의 숫자들, 즉 가중치를 조절한다는 뜻입니다. 이번에는 기반 모델의 가중치를 고정해 두고, LoRA라는 작은 추가 가중치를 학습합니다. 원본을 통째로 고치기보다 옆에 수정 메모를 붙이는 방식에 비유할 수 있습니다.

다만 LoRA는 모델 밖에서 답을 보정하는 장치가 아닙니다. 모델 내부 계산에 참여하며, 학습이 끝난 뒤 실제로 답을 고를 때도 함께 사용합니다.

decision head는 마지막 선택을 맡습니다

기반 모델이 계산한 정보와 질문·선택지 정보를 받아, −1·0·+1에 각각 점수를 매기는 부분입니다. 이를 ‘판단부’라고 생각하면 편합니다. 이번에는 이 판단부도 함께 학습했습니다. 실제 구조는 단순히 출력값 세 개를 만드는 층보다 복잡하며, 세부 구조는 원문에서 볼 수 있습니다.

04 / 학습 이해하기

풀어보고, 채점하고, 조금씩 고칩니다

1. 문제를 한 묶음 보여줍니다.

   그림, 현재 숫자, 선택지를 모델에 넣습니다. 이 묶음이 batch(배치)입니다. 본학습에서는 한 번에 32개를 처리했습니다.

2. 모델이 행동별 점수를 계산합니다.

   이렇게 입력에서 출력을 계산하는 과정을 forward라고 합니다. 점수는 확률로 바꿀 수 있습니다.

3. 정답과 비교해 틀린 정도를 계산합니다.

   이 값이 loss(손실)입니다. 정답 행동에 높은 확률을 주면 작아지고, 정답에 낮은 확률을 주면 커집니다. 확신하며 틀린 답은 더 큰 벌점을 받는 셈입니다.

4. 어느 방향으로 고칠지 계산하고 반영합니다.

   backward(역전파)는 가중치를 어떻게 바꾸면 손실을 줄일 수 있을지 계산합니다. optimizer(최적화 알고리즘)는 이 정보를 이용해 LoRA와 판단부의 가중치를 실제로 수정합니다.

이 과정을 반복하면 학습입니다. 이번 실험은 정답 행동을 주고 가르치는 지도학습입니다. 행동을 해보고 보상을 받는 강화학습을 재현한 것은 아닙니다. Unsloth는 이 학습을 구성하고 실행하는 데 사용한 도구입니다.

학습 그래프는 이렇게 읽어보세요

손실이 전반적으로 내려가면 학습 자료에 정답을 더 잘 주고 있다는 신호입니다. 중간에 튀는 점은 어려운 문제가 한 묶음에 들어왔기 때문일 수도 있습니다. 그렇지만 손실만 내려간다고 처음 보는 그림도 잘 푼다고 보장할 수는 없습니다. 별도의 검사가 필요합니다.

05 / 시행착오 이해하기

안 풀리면, 아주 작은 문제부터 확인합니다

이때 판단부의 학습률, 배치 크기, 입력 언어, 총 학습량을 함께 바꿨습니다. 결과가 좋아졌다고 해서 “배치를 키운 덕분”이라고 하나만 원인으로 꼽을 수는 없습니다. 원인을 알고 싶다면 나머지 조건을 맞추고 하나씩 바꿔야 합니다.

자료를 나누는 이유도 다릅니다

06 / 결과 이해하기

한 번 잘 고르는 것과, 끝까지 잘 가는 것은 다릅니다

두 번째 지표를 원문에서는 에피소드 성공률이라고 부릅니다. 에피소드는 출발해서 이동하다가 끝나는 한 차례의 과정입니다. 한 번이라도 잘못 멈추거나 두 숫자 사이를 오가면 전체 과정이 실패할 수 있습니다.

실제로 행동 오답은 230개였지만, 실패한 이동 과정은 638개였습니다. 그중 434개는 잘못된 자리에서 멈췄고, 203개는 같은 상태를 반복했으며, 1개는 숫자 범위를 벗어났습니다.

이 그림의 정답은 8입니다.

그런데 모델은 2를 목표로 삼은 것처럼 행동했습니다. 다만 행동만 보고 내부의 어느 부분이 잘못됐는지까지 확정할 수는 없습니다.

평가는 그림 1,000장마다 현재 숫자 10개를 붙여 진행했습니다. 같은 그림에서 나온 판단끼리는 관련이 있으므로, ‘서로 독립적인 그림 10,000장을 시험했다’고 읽으면 안 됩니다. 또한 공식 테스트의 앞 1,000장을 사용한 결과입니다.

07 / 확률 이해하기

‘90% 확신’과 ‘실제로 90% 정답’은 다릅니다

모델이 +1에 확률 0.9를 줬다고 해봅시다. 이는 모델이 다른 선택지보다 +1에 훨씬 높은 점수를 줬다는 뜻입니다. 그 한 번의 답이 반드시 맞는다는 보장은 아닙니다.

확률 0.9라고 한 사례를 많이 모았을 때 실제로도 약 90%가 맞는다면, 그 확률은 판단의 신뢰도를 표현하는 데 도움이 됩니다. 이 관계를 맞추는 작업을 확률 보정(calibration)이라고 합니다.

온도를 바꾼다는 것은 확률의 쏠림을 조절하는 일입니다

이번에는 행동별 점수를 같은 양수 T로 나눈 뒤 확률로 바꾸는 방법을 썼습니다. T를 크게 하면 확률이 더 고르게 퍼지고, 작게 하면 가장 높은 점수 쪽으로 더 몰립니다. 점수 순서는 그대로이므로, 가장 높은 행동을 고르는 결과는 바뀌지 않습니다.

08 / 직접 살펴보기

이제 원문의 기록을 읽어볼 차례입니다

용어가 낯설었다면, 이제는 다음 세 질문을 떠올리면서 기록을 살펴보세요.

본학습에는 중간 검증을 포함해 약 20.82분이 걸렸습니다. 이 값과 추론 시간은 원문의 특정 장비와 측정 조건에서 나온 결과입니다. 페이지의 탐색기는 저장된 실험 기록을 보여주며, 브라우저에서 모델을 새로 학습하거나 실행하는 것은 아닙니다.