Lathoa: Um aplicativo de matemática para crianças onde a IA deve errar

Lathoa é um app de prática de matemática para crianças de aproximadamente 10 a 14 anos. Um robô chamado Errol resolve um problema de matemática passo a passo, e um desses passos está deliberadamente errado. A tarefa da criança é identificar o passo ruim e explicar o que há de errado com ele. Às vezes não há nada errado — então simplesmente apertar "tem um erro" toda vez não funciona. Há um caso jogável na página inicial, sem necessidade de cadastro.

Como funciona a pontuação

• Se o usuário encontra um erro real, ela precisa inserir uma explicação para ganhar XP extra.
• A velocidade também conta na pontuação — respostas mais rápidas rendem mais pontos.
• Não há interação direta nem conversa com um LLM; a criança nunca faz um prompt para um modelo.

A parte difícil: fazer o modelo errar de propósito

O autor destaca a descoberta contraintuitiva: fazer um LLM errar de propósito é difícil. Cerca de metade das vezes o modelo dá a resposta correta e a rotula como errada, ou produz um "erro" que na verdade está correto. Isso forçou a criação de um pipeline de verificação antes que qualquer caso chegue a uma criança.

Pipeline de avaliação

• Uma checagem aritmética simples refaz a conta exatamente onde possível.
• Um segundo modelo resolve o mesmo problema sem ver o trabalho do Errol. Se os dois modelos discordam, o caso é descartado.
• O harness do Lathoa é descrito como estável, com muitas etapas de avaliação para detectar inconsistências e injeções de prompt.
• Ponto fraco conhecido: o segundo modelo pode cometer o mesmo erro que o primeiro. A checagem aritmética existe para pegar isso.
• Essa checagem aritmética atualmente só funciona em casos em inglês. Alemão e grego usam vírgula para decimais, e o parsing ainda não está certo.

A questão pedagógica em aberto

O que o autor realmente quer saber é se encontrar o erro de outra pessoa ensina algo que resolver o problema por conta própria não ensina. Ele não tem certeza e quer ouvir professores. Se você trabalha com essa faixa etária, é nessa thread que vale opinar.

Vale notar para quem está construindo ferramentas semelhantes: o padrão de dois modelos + checagem simbólica aqui é um modelo razoável para qualquer tarefa em que você precisa de uma saída verificavelmente específica, não apenas plausível. O modo de falha — um modelo verificador compartilhando o mesmo ponto cego do gerador — é a limitação clássica em torno da qual você precisa projetar, e este projeto a nomeia abertamente.