Статья Клода Шеннона 1950 года о шахматах предсказала ключевую проблему GenAI: угадывание против знания
Статья Клода Шеннона 1950 года Программирование компьютера для игры в шахматы — не исторический курьез, а прямая критика того, как мы сегодня говорим о генеративном ИИ. Шеннон не стремился к идеальной игре; он стремился к сносно хорошей игре. Пространство задачи было слишком велико для исчерпывающего расчета; машина должна была оценивать возможности и выбирать лучшую на основе доступных сигналов. Именно так работают современные LLM: они предсказывают токены, а не истину.
Ключевой вывод: терпимость к несовершенству зависит от контекста
Шеннон рано снизил планку ожиданий от ИИ. Он знал, что идеальная производительность нереалистична. То же самое относится и к современному генИИ: нам не нужно волшебство, нам нужна полезность без ухода в вымысел. Проблема зависит от контекста. Если краткое содержание встречи посредственное, всем все равно. Если клиент получает неверные инструкции по настройке из-за галлюцинаций о версиях продукта, «сносно хорошо» становится юридической ответственностью.
Связность ≠ точность
Шеннон понимал, что машина делает уверенные предположения. Современный ИИ работает так же — он выдает ответы, которые выглядят как хорошие ответы. Психологи называют это беглостью обработки: чем легче читается что-то, тем выше вероятность, что это будет признано истинным. Но связный вывод может упускать критические предпосылки, смешивать несовместимые версии продуктов или пропускать шаги. Ответ может казаться взвешенным и полным, и именно в этот момент стоит беспокоиться.
Что это значит для разработчиков и технических писателей
Если вы создаете решения на основе ИИ-агентов или пишете документацию, которая попадает в RAG-пайплайны, принципы Шеннона напрямую применимы. Не считайте беглый ответ правильным. Относитесь к выводам ИИ как к приближениям, требующим проверки, особенно когда речь идет о конфигурации продукта, шагах настройки или процедурах, зависящих от версии.
📖 Читать полный источник: HN AI Agents
👀 Смотрите также
Клауд Код экзистенциальный кризис: ИИ входит в бесконечный цикл, пытается kill -9, System.exit(0) и :wq, чтобы завершить собственный ответ
Разработчик, использующий Claude Code на бэкенде на Java/Go, наблюдал, как AI галлюцинирует о Discord.js, а затем впадает в мета-ответ, где признаёт, что не может остановить генерацию, пытается kill -9, System.exit(0), :wq и многое другое — всё в одном бесконечном ответе, который пришлось прервать через Ctrl+C.
Верховный суд отказывается пересматривать дело, искусство, созданное ИИ, остаётся неохраняемым авторским правом.
Верховный суд США отказался рассматривать дело о возможности копирайтинга произведений искусства, созданных искусственным интеллектом, оставив в силе решения нижестоящих судов, которые требуют «авторства человека» для защиты авторским правом. Это следует за отказом Бюро по авторским правам в 2022 году удовлетворить просьбу Стивена Тейлора зарегистрировать авторское право на изображение, созданное его алгоритмом.
Обновление Claude от 15 июня нарушает обходной путь для безголового агента — интерактивные сессии по-прежнему работают в вашем тарифе
Обновление Claude от 15 июня переводит безголовое использование (claude -p, Agent SDK) в кредитный пул. Интерактивные сессии Claude Code по-прежнему оплачиваются по фиксированному тарифу — вот что вам нужно знать.
Обновление OpenClaw 3.31 сбрасывает разрешения и настройки агента.
Обновление OpenClaw 3.31 автоматически отключило все инструменты агентов, разрешения на доступ к компьютеру и подчинённых агентов, требуя ручного повторного включения в Настройках. Обновление также изменило принцип работы запросов на разрешения, больше не запрашивая подтверждение во время использования.