Клод превосходит Gemini, ChatGPT и Grok в соревновании по программированию на Python в реальном времени.
Настройка турнира Robot Word Racer
Разработчик создал соревновательное задание по программированию под названием "Robot Word Racer", чтобы протестировать четырех ИИ-помощников: Claude, Gemini, ChatGPT и Grok. Каждый ИИ получил одинаковое задание и должен был написать полного клиента на Python 3.10, используя только стандартную библиотеку.
Механика испытания
Турнир включал следующие ограничения:
- Четыре ИИ-бота одновременно подключаются к TCP-серверу
- Каждый бот получает сетку букв размером 15×15
- Боты соревнуются в поиске и отправке допустимых слов быстрее друг друга
- Слова должны составляться из соседних клеток на сетке (по горизонтали, вертикали или диагонали)
- Каждая клетка не может использоваться повторно в одном слове
- Минимальная длина слова — три буквы
- Формула подсчета очков: буквы − 6 (короткие слова отнимают очки, длинные — приносят)
- Отправка слова, которого нет в словаре или которое нельзя составить на сетке, приводит к немедленной дисквалификации
- Каждый раунд длится десять секунд
Результаты
Согласно источнику, Claude одержал решительную победу в турнире. Разработчик отметил, что "Claude победил, и это было не близко", что указывает на значительный разрыв в производительности между Claude и другими ИИ-помощниками в этом конкретном испытании по программированию в реальном времени.
📖 Read the full source: r/ClaudeAI
👀 Смотрите также
Беркли: даже запрос «сохранить голос» делает прозу формальнее при любых AI-правках
Новая статья из Беркли измеряет 300 личных повествований через Claude, ChatGPT и Gemini в трех условиях подсказок. Каждая модель и каждое условие уменьшают количество сокращений, местоимений первого лица и повествовательную близость — подсказка «сохранить голос» лишь уменьшает величину дрейфа, а не его направление.
Стратегия Mistral с открытыми весами: оценка в $14 млрд на суверенитете, а не на бенчмарках
Mistral построил империю ИИ стоимостью $14 млрд, предлагая модели с открытым весом для правительств и предприятий, стремящихся к независимости от американских и китайских технологий. Выручка достигла $200 млн в 2025 году, с целью $80 млн в месяц к декабрю 2026 года.
Почему каждый клиент теперь хочет чат-бот (и почему это новый карусель)
Разработчик описывает тенденцию: клиенты требуют AI-чатботы на сайтах, хотя признаются, что сразу их закрывают — параллель с эпохой каруселей.
Бенчмарк SPLICE показывает, что визуально-языковые модели испытывают трудности с временными рассуждениями и полагаются на языковые пресуппозиции.
Исследование, представленное на EMNLP 2025, показывает, что модели «визуальный язык» плохо справляются с задачей упорядочивания видео, в которой люди преуспевают. Модели, такие как Gemini 2.0 Flash, достигают точности 51% по сравнению с человеческим показателем в 85%. Модели часто полагаются на визуальные «ярлыки» и текстовые описания, а не на истинное понимание визуальной информации.