Jev는 왜 주목받았고,
우리는 무엇을 만들 수 있을까요?

01 / 큰 그림

Jev·Clef는 모델, Unsloth는 실행하고 가르치는 도구입니다

근거: TypeSafe 소개 · Clef 모델 카드 · Unsloth 소개

일반적인 분류기와 무엇이 다른가요?

전통적인 분류기는 보통 학습할 때 정한 범주를 출력합니다. 여기서 다루는 decision model은 판단할 질문과 선택지의 뜻을 요청마다 함께 넣는 것이 특징입니다. 예를 들어 ‘어느 팀에 보낼까?’의 선택지를 ‘결제·기술·기타’로 주거나, 다른 요청에서는 ‘보관·검토·삭제 후보’로 바꿉니다. 새 선택지에서도 잘 판단하는지는 별도로 검증해야 합니다.

JSON을 출력하는 LLM과도 겉모습은 비슷할 수 있습니다. 차이는 JSON이라는 파일 형식 자체보다 내부에서 자유로운 문장을 순차 생성하는가, 허용된 답에 직접 점수를 매기는가에 있습니다. 타입이 맞는 답도 내용상 틀릴 수 있습니다. 개념 출처 ↗

02 / 등장과 확산

이번 관심의 출발점은 TypeSafe의 Jev 공개였습니다

‘최초’는 범위를 나눠 말해야 합니다. 분류·점수화·정책 선택 자체는 오래된 머신러닝 문제입니다. 여기서는 2026년 가을, 범용적인 typed decision API를 둘러싼 공개 흐름을 다룹니다. 아래 연표만으로 decision model 전체의 발명자를 정할 수는 없습니다.

최근 흐름은 세 방향으로 읽을 수 있습니다

위 자료를 종합하면, ① LLM 옆에서 분류·평가·분기를 맡기기, ② 텍스트를 넘어 이미지 등으로 입력 넓히기, ③ 공개 모델을 로컬에서 실행하고 업무별로 추가 학습하기로 확장되는 흐름입니다. 이는 자료를 종합한 해석이며 시장 전체를 집계한 통계는 아닙니다. Unsloth의 decision model 학습·서빙 지원도 세 번째 방향에 해당합니다. 학습 안내 ↗

03 / 보고된 활용과 한계

어디에 쓰였는지, 무엇까지 확인됐는지 함께 봅니다

추가 가이드 / 모델과 API 지도

Clef 말고 무엇이 있나요?

Jev·Clef만 있는 분야는 아닙니다. 상용 API, 공개 가중치, 학습·서빙 구현을 함께 보면 아래처럼 나뉩니다. 2026년 10월 30일에 1차 자료로 확인한 주요 계열을 모았으며, 모든 파생 체크포인트를 망라한 목록은 아닙니다.

A. 서비스 API로 사용하는 모델

아래는 호스팅 API가 확인된 제품입니다. 공개 가중치를 별도로 확인하지 못한 제품을 영구적으로 비공개라고 단정하지는 않습니다.

B. API와 공개 모델을 함께 살펴볼 계열

같은 브랜드라도 서버에서 부르는 모델과 다운로드하는 모델의 크기·버전·성능이 같다는 뜻은 아닙니다.

C. 직접 실행하거나 학습할 공개 모델·구현

공개 가중치는 파일을 받아 실행할 수 있다는 뜻입니다. 학습 데이터까지 전부 공개되었다는 뜻은 아니며, 호스팅 비용이 사라져도 장비와 운영 비용은 남습니다.

추가 확인: Perplexity의 현재 API와 버전 안내 · Liquid의 호스팅 모델 목록 · Respan 변경 기록

그래서 무엇부터 비교하면 되나요?

• 서버 운영 없이 판단 기능을 붙이려면: Jev·OpenAI Decisions·Microsoft-Decision-1·GLiDE·Mercury Decide 등 호스팅 API를 같은 평가 자료로 비교합니다.
• 내 컴퓨터에서 작은 텍스트 분류부터 해보려면: Laya·GLiNER2.5-Decide 같은 encoder 모델부터 살펴볼 수 있습니다. 한국어 지원 여부와 실제 한국어 정확도는 따로 확인합니다.
• 이 MNIST 실험처럼 이미지를 보고 행동을 고르게 하려면: 이미지 입력을 지원하는 Clef·d1·H2O-Lightning·pplx-Decider의 해당 버전을 확인하고, 직접 학습에는 Unsloth나 Strands의 지원 범위를 살펴봅니다.
• 최신 웹 정보를 찾아야 판단할 수 있다면: Parallel처럼 검색을 포함한 서비스를 비교합니다. 모델 추론 시간만으로 비교하면 작업 전체의 차이를 놓칩니다.

API 주소만 바꾸면 교체할 수 있나요?

항상 그렇지는 않습니다. Jev 계열의 state / questions / noul과 OpenAI의 input / questions / predicate는 의미가 비슷해도 JSON 구조가 다릅니다. Cloudflare는 바깥 응답 래퍼도 다릅니다. 요청 변환, 응답 변환, 오류 처리, 확률 임계값 재평가가 필요합니다. ‘호환’이라는 말만 보고 수치를 같은 의미로 취급하지 마세요.

특히 Perplexity는 API에서 옛 모델 이름을 보내도 새 버전으로 연결할 수 있다고 설명합니다. 재현 실험이라면 이름뿐 아니라 변경 기록과 실제 제공 버전을 확인해야 합니다. 버전·과금 규칙 ↗

비교 / 가격 · 속도 · 정확도 · 한국어

숫자를 나란히 보되, 측정 조건도 함께 읽습니다

확인일 2026. 10. 30. · 18개 계열을 버전과 실행 방식별로 나누고 한국어 추가학습 모델을 더했습니다. 아래 수치는 공개 자료를 정리한 것이며, 여기서 새로 API를 호출하거나 모델을 벤치마크한 결과는 아닙니다.

좁은 화면에서는 표를 가로로 밀어 보세요. 모델별 출처는 첫 열에 있습니다.

검색 조건에 맞는 모델이 없습니다. 검색어를 지우거나 전체 모델을 선택해 주세요.

작은 MNIST 실험이면 API 비용은 어느 정도일까요?

가정: 10,000회 요청 × 요청당 청구 입력 1,000토큰 = 1,000만 토큰. 이때 입력 요금만 계산하면 아래와 같습니다. 실측 견적이 아니라 단가를 이해하기 위한 계산이며, 이미지 토큰·재시도·캐시·세금·결제 수수료에 따라 달라집니다.

가격 출처는 위 표의 모델별 링크입니다. Perplexity Flash는 한 요청에 여러 질문을 넣으면 state를 질문마다 다시 과금합니다. 단일 질문 기준 계산을 다중 질문 요청에 그대로 적용하지 마세요. 공식 과금 규칙 ↗

또한 ‘1,000장 × 현재값 10개’의 정적 행동 평가는 10,000개 판단이지만, 매 이동을 API로 다시 호출하는 실시간 rollout은 호출이 더 많아질 수 있습니다. 그림이 작아도 서비스가 내부적으로 확대해 토큰화할 수 있습니다.

추천 / 이 MNIST 실험에 적용하기

기준 모델을 유지하고, 작은 공개 모델과 API를 하나씩 비교하세요

추천 순서는 이 실험의 그림 + 현재 숫자 → −1 / 0 / +1이라는 목적에 맞춘 판단입니다. 아래 후보들의 MNIST 성능을 새로 측정한 것은 아닙니다.

이번 이미지 실험에서 우선순위가 낮은 모델

Laya·laya-ko·GLiNER2.5-Decide는 텍스트 판단용이어서 이미지를 직접 넣는 비교군으로 적합하지 않습니다. OCR이나 다른 숫자 인식기를 앞에 붙이면 ‘인식기 + 판단 모델’이라는 다른 실험이 됩니다. Parallel의 웹 검색도 MNIST에는 필요하지 않습니다. Clef 27B·공개 pplx 27B는 비교용 API로는 쓸 수 있지만 현재 12GB 노트북에서 첫 로컬 후보로 삼기에는 부담이 큽니다.

한국어 비교는 이렇게 추가하면 됩니다

같은 이미지·현재값·선택지 ID를 두고 질문과 설명만 영어/한국어로 바꿉니다. 예: “현재 숫자는 3입니다. 그림의 숫자에 한 칸 가까워지도록 행동을 고르세요. 같을 때만 멈추세요.” 한국어로 보낸다고 정답 숫자를 state에 써 넣으면 안 됩니다.

1. 같은 테스트를 사용합니다.

   저장된 1,000장과 현재값 0–9를 동일하게 쓰고, 추가학습은 test 그림과 분리합니다. 입력 리사이즈·선택지 순서·모델 버전을 기록합니다.

2. 정확도와 종료 성공을 따로 측정합니다.

   행동 정확도, rollout 성공률, 잘못 멈춤·순환 비율을 함께 봅니다. 0.1의 확률을 붙여 틀리는 것과 0.99로 자신 있게 틀리는 것도 구별해 NLL/Brier 등을 기록합니다.

3. 속도는 실제 사용 경로에서 잽니다.

   API는 이미지 인코딩과 네트워크를 포함한 p50/p95, 로컬은 전처리 포함 단건과 배치 처리량을 따로 기록합니다. 오류·재시도를 제외한 예쁜 수치만 보고하지 않습니다.

4. 한국어의 영향을 수치로 봅니다.

   한국어 정확도 − 영어 정확도의 %p 차이와 두 언어의 행동 불일치율을 구합니다. 차이를 해석할 때 같은 그림의 10개 상태는 서로 연관되어 있으므로 신뢰구간은 이미지 단위로 묶어 계산합니다.

지금 추가한 것은 자료 기반 비교와 실험 추천입니다. 유료 API 호출, 새 모델 다운로드·학습, 한국어 성능 측정은 실행하지 않았습니다.

04 / Clef 이해하기

Clef는 ‘질문별 선택지에 점수를 매기는’ 공개 모델입니다

Clef는 Qwen 기반 모델이 입력을 읽은 뒤, joint schema head라는 판단부가 질문과 허용된 선택지의 점수를 계산하는 구조입니다. 각 질문의 점수를 확률로 바꿉니다. 자유로운 설명 문장을 먼저 생성할 필요가 없습니다.

확인한 모델 카드에서 Clef는 Qwen3.8-27B 기반이며, 가중치와 판단부 구현을 Apache-2.0으로 공개합니다. 더 작은 변형이 Clef-flash입니다. 사용 시점의 정확한 모델 구성과 조건은 각 모델 카드를 기준으로 확인하면 됩니다. 모델 카드 ↗

또한 ‘Jev API 호환’은 질문과 응답을 비슷한 형식으로 주고받을 수 있다는 뜻입니다. 서버 주소, 인증, 응답을 감싸는 구조와 실제 확률값까지 동일하다는 뜻은 아닙니다. Workers AI 사용 안내 ↗

05 / Unsloth 기능 지도

모델을 고르고, 학습하고, 저장하고, 실행하는 도구

Unsloth는 특정 모델 한 개의 이름이 아닙니다. Python 코드로 사용하는 학습 프레임워크가 있고, 화면에서 모델 실행과 학습을 다루는 Desktop 앱도 있습니다. 공식 소개 · Desktop 기능 ↗

기능 근거: 프로젝트 README · RL 안내 · GGUF 저장 · Decision API

‘Unsloth가 지원한다’와 ‘모든 모델에서 모든 조합이 된다’는 다릅니다. 예를 들어 이 저장소에 보존된 decision API 구현은 8bit 로딩을 거부합니다. Laya와 Clef 계열도 4bit 지원 경로가 다릅니다. 일반 LLM용 내보내기 설명만 보고, 사용자 정의 판단부까지 아무 추론 엔진에서나 실행된다고 가정하면 안 됩니다. 실험 당시 구현 확인 ↗

06 / API 공통 언어

state는 판단할 자료, questions는 판단할 기준입니다

예를 들어 ‘비밀번호 재설정 메일이 도착하지 않는다’는 문의가 들어왔다고 합시다. 이것이 state입니다. 어느 팀이 맡을지, 장애 가능성이 있는지, 업무 영향이 얼마나 큰지를 questions에 담습니다. 질문의 ID는 직접 정합니다.

타입별 명세: Choice · Noul · Score

score 1.4는 ‘정답일 확률 140%’가 아닙니다

세 단계가 있으면 단계 번호는 0·1·2입니다. 확률이 0.1·0.4·0.5라면 점수는 0 × 0.1 + 1 × 0.4 + 2 × 0.5 = 1.4입니다. 단계 위치의 가중 평균이므로 소수가 될 수 있습니다. 등급 설명이 달라지면 같은 1.4의 의미도 달라집니다.

probability와 confidence도 같은 필드가 아닙니다

‘기술팀’ 선택지의 확률과 응답 전체의 confidence는 구분해서 읽습니다. 특히 Unsloth의 Laya 서빙과 Jev는 confidence 계산이 달라 기존 임계값을 그대로 옮기면 안 됩니다. 동일한 업무 자료에서 다시 평가해야 합니다. 호환 API의 차이 ↗

07 / 원격 모델 호출

Jev와 Clef에 같은 질문을 보내보는 코드

아래는 요청 형식을 설명하기 위해 새로 작성한 Python 예제입니다. requests 패키지와 해당 서비스의 API 키가 필요합니다. 이 페이지에서 실제 API를 실행하거나 키를 입력받지는 않습니다.

① 먼저 질문을 정의합니다

state = "I cannot sign in because the password reset email never arrives."
questions = {
    "route": {
        "type": "choice",
        "instructions": "Select the team best suited to resolve this request.",
        "criteria": {
            "account": "Sign-in, account access and password recovery",
            "payment": "Charges, receipts and payment methods",
            "other": "Requests outside account access and payments"
        }
    },
    "access_issue": {
        "type": "noul",
        "instructions": "The user is unable to access their account."
    },
    "impact": {
        "type": "score",
        "instructions": "Assess how much the issue blocks the user's work.",
        "criteria": [
            "Work can continue without any interruption",
            "Some work is blocked but an alternative is available",
            "The user cannot proceed and no alternative is stated"
        ]
    }
}

선택지 ID는 코드가 읽을 값이고, 설명은 모델이 의미를 판단할 기준입니다. ‘1, 2, 3’만 적기보다 각 단계가 어떤 상황인지 설명하는 편이 좋습니다. 위 영어는 예제 입력이며 한국어 설명문과는 별개입니다.

② Jev REST API로 보냅니다

import os
import requests

response = requests.post(
    "https://api.typesafe.ai/v1/systemone",
    headers={"Authorization": "Bearer " + os.environ["TYPESAFE_API_KEY"]},
    json={"model": "jev-latest", "state": state, "questions": questions},
    timeout=30,
)
response.raise_for_status()
result = response.json()
route = result["answers"]["route"]
print(route["choice"], route["probabilities"])
print(result["answers"]["access_issue"]["noul"])
print(result["answers"]["impact"]["score"])

requests.post(..., json=...)가 JSON 직렬화와 Content-Type 설정을 처리합니다. 결과는 answers 아래에 요청한 질문 ID로 돌아옵니다. jev-latest는 바뀔 수 있는 별칭이므로 실험 기록에는 응답의 model 값도 남기고, 재현이 필요하면 계정에서 제공되는 고정 버전을 선택하세요. HTTP 요청·응답 출처 ↗

# 설치: pip install typesafe-sdk
# 위에서 정의한 state, questions를 재사용합니다.
from typesafe_sdk import TypeSafeClient

with TypeSafeClient(timeout=30) as client:
    result = client.system_one(
        model="jev-latest", state=state, questions=questions
    )
    print(result.answers["route"].choice)

③ Clef를 Cloudflare Workers AI로 호출합니다

import os
import requests

account_id = os.environ["CLOUDFLARE_ACCOUNT_ID"]
url = (
    "https://api.cloudflare.com/client/v4/accounts/"
    + account_id + "/ai/run/@cf/cloudflare/clef"
)
response = requests.post(
    url,
    headers={"Authorization": "Bearer " + os.environ["CLOUDFLARE_AUTH_TOKEN"]},
    json={"model": "clef", "state": state, "questions": questions},
    timeout=60,
)
response.raise_for_status()
body = response.json()
if not body.get("success", False):
    raise RuntimeError(body.get("errors"))
print(body["result"]["answers"]["route"]["choice"])

Cloudflare REST API는 바깥쪽에 success·errors·result를 둡니다. Workers 내부의 env.AI.run() 예제와 응답 접근 경로가 다릅니다. 모델 식별자와 해당 계정의 Workers AI 권한도 필요합니다. Clef 사용법 · REST 응답 형식 ↗

요청 실패는 어떻게 읽나요?

TypeSafe에서 401은 인증, 422는 질문 형식 등의 검증 오류입니다. 429는 호출량 제한, 529는 일시적 과부하이므로 간격을 늘리며 재시도합니다. 위 REST 예제는 최소 형태라 자동 재시도를 구현하지 않았습니다. 오류 코드와 재시도 ↗

08 / 직접 모델 학습하기

Unsloth에서는 Python 객체를 직접 다룹니다

여기부터는 웹 서버에 JSON을 보내는 API가 아닙니다. 내 컴퓨터 메모리에 모델을 올리고 학습하는 함수입니다. 아래 표와 코드는 최신 문서의 변화를 섞지 않도록, 이 저장소에 보존된 실험 당시 구현을 기준으로 설명합니다.

구현 근거: 보존된 decision.py · 실험의 모델 래퍼 · 전체 학습 코드

학습 데이터 한 줄의 모양

from PIL import Image

image = Image.open("digit.png").convert("RGB").resize((112, 112))
move_questions = {
    "move": {
        "type": "choice",
        "instructions": "Move one step toward the handwritten digit. Stop only when equal.",
        "criteria": {
            "-1": "Decrease the current number by one",
            "0": "Stop at the current number",
            "+1": "Increase the current number by one"
        }
    }
}
row = {
    "images": [image],
    "state": "The current number is 3.",
    "questions": move_questions,
    "gold": {"move": "+1"}  # 예: digit.png의 정답 숫자가 7일 때
}

gold는 채점용 정답입니다. 실제 데이터에서는 이미지의 정답 숫자와 현재 숫자를 비교해 계산합니다. 위 한 줄만으로 일반화 성능을 학습할 수는 없습니다. 학습·검증·보정·테스트를 나눌 때는 같은 그림에서 만든 여러 현재 상태가 서로 다른 split으로 흩어지지 않도록 이미지 단위로 나눕니다.

학습 → 보정 → 저장의 순서

다음은 흐름을 보여주는 코드입니다. train_rows와 calibration_rows는 앞 형식으로 준비된 서로 다른 이미지의 목록이라고 가정합니다. CUDA·BF16을 지원하는 이 실험의 환경을 전제로 하며, 완전한 실행 절차와 패키지 버전은 재현 안내를 따릅니다.

from unsloth import FastDecisionModel, DecisionTrainer
import torch
from transformers import TrainingArguments

model, processor = FastDecisionModel.from_pretrained(
    model_name="unsloth/Qwen3.5-0.8B",
    max_seq_length=1024,
    load_in_4bit=True,
    dtype=torch.bfloat16,
)
model = FastDecisionModel.get_peft_model(
    model, r=16, lora_alpha=16, lora_dropout=0
)
items, report = FastDecisionModel.build_dataset(train_rows, processor, model)
cal_items, cal_report = FastDecisionModel.build_dataset(
    calibration_rows, processor, model
)
for check in (report, cal_report):
    if check["skipped"] or check["truncated"]:
        raise ValueError(check)
if not items or not cal_items:
    raise ValueError("학습·보정 자료가 비어 있습니다.")

FastDecisionModel.for_training(model)
trainer = DecisionTrainer(
    model=model,
    processing_class=processor,
    train_dataset=items,
    head_learning_rate=1e-3,
    args=TrainingArguments(
        output_dir="work/checkpoints",
        per_device_train_batch_size=32,
        gradient_accumulation_steps=1,
        max_steps=600,
        learning_rate=2e-4,
        bf16=True,
        report_to="none",
    ),
)
trainer.train()
FastDecisionModel.for_inference(model)
metrics = FastDecisionModel.calibrate(model, processor, cal_items, batch_size=1)
model.save_pretrained("work/mnist-adapter")

학습률 두 개가 보이죠. learning_rate는 기반 모델 쪽 학습 대상에, head_learning_rate는 판단부에 사용됩니다. 위 골격은 원문의 스케줄러·콜백·중간 검증 설정을 모두 복제하지는 않았습니다. 원문 수치를 재현하려면 train.py와 저장 설정을 함께 사용해야 합니다.

저장한 모델로 답 하나 얻기

loaded, processor = FastDecisionModel.from_pretrained(
    model_name="work/mnist-adapter",
    max_seq_length=1024,
    load_in_4bit=True,
    dtype=torch.bfloat16,
)
FastDecisionModel.for_inference(loaded)
answers = FastDecisionModel.predict(
    loaded, processor,
    state="The current number is 3.",
    questions=move_questions,
    images=[image],
)
move = answers["move"]
print(move["answer"], move["probabilities"])

이미지 입력은 멀티모달 기반 모델과 processor가 지원해야 합니다. images 인자만 넣으면 텍스트 전용 모델도 그림을 읽는 것은 아닙니다. 보정 뒤 저장된 온도는 구현에 따라 가중치에 반영될 수 있으므로, 재로딩 후 같은 온도를 임의로 한 번 더 적용하지 않습니다.

09 / 로컬 서비스 연결

Unsloth를 켜 두고, 내 프로그램에서 HTTP로 부를 수도 있습니다

Desktop의 Settings → API → Decision API → Serve requests에서 로컬 서빙을 준비합니다. 문서의 기본 주소는 http://localhost:8888/v1/systemone이며, 키는 같은 설정의 Access tokens에서 확인합니다. 실제 포트는 본인의 설정을 따릅니다. 공식 실행 절차 ↗

import os
import requests

response = requests.post(
    "http://localhost:8888/v1/systemone",
    headers={"Authorization": "Bearer " + os.environ["UNSLOTH_API_KEY"]},
    json={"model": "laya", "state": state, "questions": questions},
    timeout=60,
)
response.raise_for_status()
print(response.json()["answers"]["route"]["choice"])

UNSLOTH_API_KEY는 이 예제에서 정한 환경변수 이름입니다. 여기에 Desktop에서 만든 토큰을 설정합니다. 로컬의 jev-latest 별칭은 설정에서 선택한 모델로 연결될 수 있습니다. 주소가 로컬이라면 Jev라는 문자열을 넣었다고 TypeSafe의 Jev가 실행되는 것은 아닙니다.

이 사이트의 미리보기 주소인 127.0.0.1:18765는 HTML을 보여주는 서버입니다. 위 Decision API 서버와는 별개이며, 이 페이지를 열었다고 모델 서버가 자동으로 켜지지는 않습니다.

10 / 이해에서 실험으로

벤치마크와 API를 읽을 때 기억할 것

1. 속도는 무엇을 포함했는지 봅니다.

   모델 계산 시간, 네트워크 왕복, 웹페이지 가져오기까지 포함한 시간은 서로 다릅니다. 제조사별 숫자를 그대로 줄 세우면 비교가 어긋날 수 있습니다.

2. 좋은 형식과 좋은 판단을 나눠 봅니다.

   항상 유효한 선택지가 나온다는 것은 연결하기 편하다는 장점입니다. 그 선택지가 맞는지, 틀렸을 때 확률도 낮은지는 별도로 확인합니다.

3. 업무의 작은 결정부터 평가합니다.

   ‘모든 문의를 처리하라’보다 ‘세 팀 중 어디에 보낼까?’처럼 범위가 분명한 질문부터 시작합니다. 그 다음 실제 정답과 혼동 사례, 확률, 응답 시간을 함께 기록합니다.

이번 MNIST 실험은 그 작은 결정을 눈으로 확인하는 예제입니다. 그림 한 장과 현재 상태를 주고, 한 번의 선택과 반복 실행 결과가 어떻게 달라지는지 살펴볼 수 있습니다.

웹 자료 확인: 2026. 10. 30. / API 예제: 문서와 보존된 소스 대조, Python 문법 검사. 원격 유료 API 호출과 GPU 재학습은 실행하지 않았습니다. 모델·패키지 업데이트에 따라 사용 가능 기능과 인자가 달라질 수 있습니다.