라토아: AI가 일부러 틀리게 설계된 어린이 수학 앱

라토아(Lathoa)는 약 10~14세 아이들을 위한 수학 연습 앱이다. '에롤(Errol)'이라는 로봇 캐릭터가 수학 문제를 단계별로 풀어가는데, 그중 한 단계는 의도적으로 틀렸다. 아이의 임무는 잘못된 단계를 찾아내고 무엇이 문제인지 설명하는 것이다. 때로는 아무런 오류가 없기도 하다. 그래서 매번 "실수 있어요"만 누르는 식으로는 통하지 않는다. 홈페이지에 가입 없이 체험할 수 있는 사례가 하나 있다.

점수 산정 방식

• 사용자가 실제 오류를 찾아내면 설명을 입력해야 추가 XP를 얻을 수 있다.
• 속도도 점수에 반영된다. 빠를수록 더 많은 점수를 받는다.
• LLM과의 직접적인 상호작용이나 대화는 없다. 아이가 모델에 프롬프트를 입력하는 일은 없다.

어려운 부분: 모델을 일부러 틀리게 만들기

저자는 직관에 반하는 발견을 짚는다. LLM이 일부러 틀리게 하는 것이 어렵다는 것이다. 대략 절반 정도는 모델이 정답을 내놓고 틀렸다고 표시하거나, 실제로는 맞는 "실수"를 만들어낸다. 그래서 어떤 사례든 아이에게 도달하기 전에 검증 파이프라인을 거치게 됐다.

평가 파이프라인

• 가능한 경우 계산을 그대로 다시 수행하는 단순 산술 검사
• 두 번째 모델이 에롤의 풀이를 보지 않고 같은 문제를 푼다. 두 모델이 불일치하면 해당 사례는 폐기된다.
• 라토아의 하네스는 안정적이며, 불일치와 프롬프트 인젝션을 잡아내는 여러 평가 단계가 있다고 설명된다.
• 알려진 약점: 두 번째 모델이 첫 번째 모델과 같은 실수를 할 수 있다. 이를 잡아내기 위해 산술 검사가 존재한다.
• 현재 이 산술 검사는 영어 사례에서만 작동한다. 독일어와 그리스어는 소수점에 쉼표를 쓰는데, 파싱이 아직 제대로 되지 않는다.

남은 교육적 질문

저자가 진짜 묻는 것은 남의 실수를 찾아내는 것이 스스로 문제를 푸는 것과 다른 무엇을 가르쳐주느냐는 것이다. 그는 확신하지 못하며 교사들의 의견을 듣고 싶어 한다. 이 연령대를 가르치는 사람이라면 이 주제에 참여해볼 만하다.

비슷한 도구를 만드는 사람이라면 참고할 만하다. 여기서 쓰인 '두 모델 + 기호 검사' 패턴은 그럴듯한 결과가 아니라 검증 가능한 구체적 출력이 필요한 작업에 합리적인 템플릿이다. 실패 모드, 즉 검증 모델이 생성 모델과 같은 맹점을 공유하는 문제는 고전적인 한계이며, 이 프로젝트는 이를 공개적으로 밝히고 있다.