Тестирование Claude Sonnet на стратегической настольной игре: проблемы с соблюдением правил

Тестирование стратегических игр с Claude Sonnet

Разработчик на r/ClaudeAI протестировал Claude Sonnet, сыграв в OFMOS® Essential — запатентованную стратегическую настольную игру, где игроки управляют продуктовым портфелем на карте позиционирования. Тест включал ручную игру против модели, промпт за промптом.

Детали реализации

Разработчик создал структурированный системный промпт, содержащий:

• Полный свод правил OFMOS® Essential
• Текстовое представление игрового поля
• Определения действий
• Инструкции по подсчёту очков
• Указания по управлению ходами

После каждого хода Claude обновлял состояние поля и текущие очки на основе структурированной системы промптов.

Оценка производительности

Claude Sonnet продемонстрировал несколько способностей:

• Правильно понимал правила игры
• Излагал стратегические рассуждения во время игры
• Последовательно отслеживал очки на протяжении всей игры

Однако модель часто делала недопустимые ходы. Разработчик отметил, что это ожидаемое поведение, поскольку в системе отсутствовал слой ограниченной генерации ходов, требуя от модели самостоятельного соблюдения правил — задача, с которой она часто не справлялась.

Вопросы разработчика

Разработчик ищет мнение сообщества о подобных экспериментах с настольными или стратегическими играми, в частности спрашивая о:

• Опыте соблюдения правил в разных моделях
• Наблюдениях о стратегической глубине в игровом процессе ИИ
• Какие модели показали лучшие результаты в подобных сценариях

Такой тип тестирования полезен для разработчиков, работающих с ИИ-агентами для программирования, чтобы понять практические ограничения языковых моделей в средах, основанных на правилах, где требуется точное соблюдение ограничений.