Lathoa: детское математическое приложение, где ИИ специально ошибается

Lathoa — это приложение для практики по математике для детей примерно от 10 до 14 лет. Робот по имени Эррол проходит математическую задачу шаг за шагом, и один из этих шагов намеренно неверный. Задача ребёнка — найти плохой шаг и объяснить, что с ним не так. Иногда всё правильно — так что просто нажимать «здесь ошибка» каждый раз не получится. На главной странице есть играбельный пример без регистрации.

Как работает подсчёт очков

• Если пользователь находит настоящую ошибку, ей нужно ввести объяснение, чтобы получить дополнительные XP.
• Скорость также влияет на счёт — более быстрые ответы приносят больше очков.
• Прямого взаимодействия или чата с LLM нет; ребёнок никогда не пишет запросы модели.

Самое сложное: заставить модель ошибаться намеренно

Автор отмечает контринтуитивный вывод: заставить LLM ошибаться намеренно трудно. Примерно в половине случаев модель даёт правильный ответ и помечает его как неверный или выдаёт «ошибку», которая на самом деле правильна. Это вынудило создать конвейер проверки, прежде чем какой-либо пример попадёт к ребёнку.

Конвейер оценки

• Простая арифметическая проверка заново выполняет вычисления там, где это возможно.
• Вторая модель решает ту же задачу без просмотра работы Эррола. Если две модели расходятся, пример отбрасывается.
• Стенд Lathoa описывается как стабильный, с множеством этапов оценки для выявления несоответствий и промпт-инъекций.
• Известное слабое место: вторая модель может совершить ту же ошибку, что и первая. Арифметическая проверка существует, чтобы это поймать.
• Сейчас эта арифметическая проверка работает только на английских примерах. В немецком и греческом для десятичных дробей используется запятая, и парсинг пока не настроен правильно.

Открытый педагогический вопрос

Настоящий вопрос автора — учит ли поиск чужой ошибки чему-то, чему не учит самостоятельное решение задачи. Он не уверен и хочет услышать мнение учителей. Если вы работаете с этой возрастной группой, это та тема, где стоит высказаться.

Стоит отметить для всех, кто создаёт похожие инструменты: шаблон «две модели + символьная проверка» здесь — разумный образец для любой задачи, где нужен проверяемо конкретный результат, а не просто правдоподобный. Режим отказа — модель-верификатор разделяет ту же слепую зону, что и генератор, — это классическое ограничение, которое нужно обойти при проектировании, и этот проект открыто его называет.