번역 모델 7종을
우리 기사로 시험했다

1남의 점수표는 우리 답이 아니다

모델 순위표는 많다. 문제는 그 순위가 "AX 운영 기사의 한국어 번역"을 재주지 않는다는 것.

그래서 우리 도메인 문장으로 작은 시험지를 만들었다.

• 문제 4개. 한국어→영어 2개(문장·문단), 영어→한국어 2개.
• 조건 고정. 같은 지시문("전문 번역가, 번역만 출력"), 같은 온도, 같은 길이 한도.
• 채점 기준 4개. 정확성, 자연스러움, 전문용어, 완결성 — 지연 시간과 토큰도 함께 기록.

후보는 7종. 유료 클라우드 플래그십부터, 우리 맥에서 도는 로컬 중형(총 35B·활성 3B의 MoE 구조), 초고속 무료 API의 70B와 8B, 그리고 공장에서 쓰던 번역 전용 1.8B까지.

2점수표 — 0.4점 차이의 의미

1등은 예상대로 유료 플래그십(9.4)이었다. 한국어 산문이 가장 자연스러웠다.

놀란 건 2등이다. 우리 맥에서 공짜로 도는 로컬 35B가 9.0 — 0.4점 차이. 속도는 1~2초로 오히려 더 빨랐고, 데이터가 밖으로 나가지 않는다.

분류(주제 딱지)와 한 줄 요약도 같은 방식으로 쟀는데, 분류는 로컬과 플래그십이 동급(5건 중 4건)이었고 요약은 로컬이 가장 좋았다.

0.4점에 매달 돈을 낼 이유를 찾지 못했다. 대량 작업은 로컬, 품질이 특히 민감한 건만 클라우드 폴백 — 이렇게 정했다.

3점수표 밖의 사고들

숫자보다 사고 기록이 더 쓸모 있을 수 있다. 실제로 벌어진 것들이다.

4결정 — 셈법 공개

최종 라우팅은 세 줄이다.

• 대량·기계적 작업(번역·분류·요약) → 로컬 35B. 무료, 비공개, 1~2초.
• 품질이 특히 민감한 소량 → 유료 플래그십 폴백(사고 기능 끄고).
• 속도가 전부인 백업 → 무료 고속 API 70B(품질 절충 인지하고).

이 결정의 근거는 리더보드가 아니라 위의 점수표와 사고 목록이다. 우리 문장, 우리 용도, 우리 셈법 — 다른 팀이면 다른 답이 나올 수 있고, 그게 정상이다.

5따라해 본다면 — 반나절 벤치마크

1. 우리 문장으로 시험지를 만든다. 실제 업무 텍스트 4~5개. 짧은 것과 긴 것을 섞는다.
2. 조건을 고정한다. 같은 지시문, 같은 온도. 바꾸는 건 모델 하나만.
3. 채점 기준을 미리 적는다. 우리는 정확성·자연스러움·전문용어·완결성 넷. 채점을 AI에게 시켜도 되지만, 눈으로 한 번은 훑는다.
4. 지연과 토큰도 적는다. 품질이 같으면 이게 결정한다.
5. 추론 모델은 생각을 끄고 잰다. 안 끄면 비용 비교가 왜곡된다.
6. 결과를 표 한 장으로. 그 표가 "왜 이 모델이냐"는 질문에 대한 영구 답변이 된다.

전부 합쳐 반나절이었다. 모델 소문을 따라다닌 시간보다 짧았다.

6요지

체감 대신 측정 — 이 시리즈에서 세 번째 반복되는 처방이다. 생산성(카드 10호)에서, 문체(깊이 읽기 02)에서, 이번엔 모델 선택에서.

그리고 이번에도 재보기 전에는 몰랐다. 공짜가 이길 줄은.