ИИ-модели не обладают самосознанием в отношении собственных инструментов и пользовательского интерфейса.

Обнаружен критический недостаток удобства использования в ИИ-ассистентах для программирования: модели, такие как ChatGPT и Claude, часто не обладают точными знаниями о собственных инструментах и пользовательском интерфейсе. Когда пользователи спрашивают о функциях, видимых на их экранах, ИИ часто отвечает неверной информацией.

Конкретные примеры проблемы

Согласно сообщениям пользователей, эти модели демонстрируют несколько последовательных шаблонов сбоев:

• Отрицание существующих функций: Когда Claude Code показывает новую слеш-команду и пользователи спрашивают, что она делает, модель отрицает существование этой команды.
• Описание устаревших версий: Когда спрашивают о функциях, таких как память, интеграции или настройки в ChatGPT, модель даёт ответы, основанные на версиях интерфейса 1-2-летней давности.
• Создание правдоподобно звучащих выдумок: Модели иногда придумывают объяснения, которые звучат разумно, но не соответствуют фактической функциональности.

Текущие обходные пути и их ограничения

Единственный доступный обходной путь предполагает принуждение ИИ «посмотреть это» через функцию веб-запроса, но этот подход имеет серьёзные проблемы:

• Операции запроса часто полностью терпят неудачу
• ИИ часто обращается к неверной документации
• Контент может быть недоступен из-за проблем с разрешениями или доступностью

Анализ первопричины

Основная проблема проистекает из фундаментального несоответствия между методологией обучения ИИ и циклами разработки продукта. Эти модели обучаются на исторических снимках данных, но продукты, в которые они встроены, постоянно развиваются. Это создаёт ситуацию, когда ИИ выходит из синхронизации с самим инструментом, который он должен помогать пользователям использовать.

Почему это критический конструктивный недостаток

Когда ИИ интегрирован в интерфейс продукта, он должен поддерживать точные, актуальные знания о:

• Собственных функциях
• Собственном пользовательском интерфейсе
• Собственных командах и возможностях

Без этого самопознания ИИ активно вредит удобству использования, а не улучшает его, создавая путаницу и снижая доверие к инструменту.

Предлагаемые решения

Источник предлагает несколько архитектурных улучшений:

• Живой, структурированный слой «самопознания» внутри продукта, функционирующий как внутренний API или схема текущих функций
• Небольшая, постоянно обновляемая модель, специально обученная на текущем интерфейсе и возможностях
• Система запросов, где основная модель может обращаться к этому слою самопознания при ответах на вопросы, связанные с продуктом

Фундаментальный принцип заключается в том, что ИИ должен иметь возможность интроспектировать собственную среду, а не догадываться на основе устаревших обучающих данных.