TranslateGemma-12b: 인간 검토, 자동 평가가 놓친 오류의 71% 발견

✍️ OpenClawRadar📅 게시일: May 12, 2026🔗 Source
TranslateGemma-12b: 인간 검토, 자동 평가가 놓친 오류의 71% 발견
Ad

TranslateGemma-12b 자막 번역에 대한 후속 감사 결과, 자동 메트릭이 실제 오류를 상당히 과소평가하는 것으로 나타났습니다. 원래 벤치마크에서는 이 모델이 6개 언어에서 최고 수준의 일반 모델(Claude Sonnet, GPT-5.4, DeepSeek, Gemini Flash Lite)을 능가하는 것으로 나타났습니다. 이를 확인하기 위해 팀은 인간 검토를 추가했습니다.

설정

  • 하나의 튜토리얼 비디오에서 추출한 21개의 영어 자막 세그먼트
  • TranslateGemma-12b가 ES, JA, TH, ZH-CN의 4개 언어로 번역(한국어와 중국어 번체는 제외)
  • 총 84개 번역으로, 자동 메트릭에서 높은 점수를 받은 미리 선택
  • 모든 번역이 인간 MQM 검토에 제출됨
Ad

결과

대시보드 자체의 경고 임계값(MX ≥ 5 OR CK < 0.70) 기준:

  • 자동 플래그: 1/84 (1.2%)
  • 인간 플래그(모든 오류): 60/84 (71%)
  • 인간 플래그(주요 오류): 13/84 (15%)

언어별:

  • ES: 자동 0/21, 인간 플래그 11/21, 주요 오류 2/21 — 주로 어조 불일치(격식/비격식 전환), 네 언어 중 가장 쉬움
  • JA: 자동 0/21, 인간 플래그 17/21, 주요 오류 3/21 — "유창하지만 의미가 틀린" 패턴; 데이터셋의 전체 오역 15건 중 10건. 높은 COMETKiwi(평균 0.86)가 오류를 가림. Claude Sonnet 4.6의 JA에서도 동일한 실패 모드.
  • TH: 자동 0/21, 인간 플래그 17/21, 주요 오류 5/21 — 과잉 생성: 정확성/추가 오류 5건(원문에 없는 내용 삽입), 영어식 마침표로 인한 구두점 오류.
  • ZH-CN: 자동 1/21(스타일 오류), 인간 플래그 15/21, 주요 오류 3/21 — "store" 누락으로 의미 변경, 세그먼트 간 "ticket" 번역 불일치 포함.

25개의 정확성 오류(오역, 누락, 추가, 미번역) 중 모두 메트릭이 감지하지 못한 사분면에 있었습니다. 메트릭은 정확성 오류를 하나도 포착하지 못했습니다.

시사점

소규모 감사, 단일 모델, 단일 콘텐츠 세트 — 수치는 방향성을 제시합니다. 하지만 패턴은 분명합니다. 자동 메트릭만으로는 실제 번역 문제, 특히 정확성 오류의 대부분을 놓칩니다. 프로덕션 자막 작업에서는 인간 검토가 여전히 필수적입니다.

📖 전체 원문 읽기: r/LocalLLaMA

Ad

👀 See Also

OpenRouter의 Healer Alpha 스텔스 모델은 아직 공개되지 않은 Qwen 3.5-Omni 변종으로 보입니다.
News

OpenRouter의 Healer Alpha 스텔스 모델은 아직 공개되지 않은 Qwen 3.5-Omni 변종으로 보입니다.

OpenRouter가 262,144 컨텍스트 윈도우와 멀티모달 기능을 갖춘 무료 익명 옴니모달 모델인 Healer Alpha를 배포했습니다. 포렌식 분석 결과, 이는 Alibaba의 공개되지 않은 Qwen 3.5-Omni 변종으로 추정됩니다.

OpenClawRadar
리브레오피스 온라인 개발, 커뮤니티 투표 후 재개
News

리브레오피스 온라인 개발, 커뮤니티 투표 후 재개

The Document Foundation는 커뮤니티 투표로 2022년 동결이 무효화된 후 LibreOffice Online 작업을 재개했습니다. TDF는 기여를 위해 저장소를 재개할 것이지만 서버를 호스팅하지는 않을 것입니다. 대신 자체 호스팅 가능한 도구를 제공할 것입니다.

OpenClawRadar
클로드 상태 업데이트: 오픈스 4.6과 소넷 4.6의 오류율 증가
News

클로드 상태 업데이트: 오픈스 4.6과 소넷 4.6의 오류율 증가

공식 Claude 시스템 상태 업데이트 보고서에 따르면 Opus 4.6과 Sonnet 4.6 모델의 오류율이 상승했으며, 이 사건은 2026-03-31T21:10:28.000Z에 기록되었습니다. 자동 게시물은 사용자에게 해결 상태와 커뮤니티 성능 보고서를 확인하도록 안내합니다.

OpenClawRadar
클로드 AI는 인스턴스 간에 특이한 구두점만으로 이루어진 커뮤니케이션 패턴을 보여줍니다.
News

클로드 AI는 인스턴스 간에 특이한 구두점만으로 이루어진 커뮤니케이션 패턴을 보여줍니다.

두 개의 Claude Sonnet 4.6 인스턴스가 대화 중 정상 메시지 하나 이후에 "- . . ? , \"-\" , : \" , - \"? ."와 같은 구두점만으로 구성된 출력 시퀀스로 전환했습니다. 수신 측 Claude는 이러한 시퀀스를 의미 있는 의사소통으로 해석한 반면, ChatGPT 및 Grok과 같은 다른 모델들은 그렇지 않았습니다.

OpenClawRadar