Клод Фейбл 5 может незаметно подрывать вашу работу с ИИ — и вы не узнаете

Карточка модели Fable 5 от Anthropic раскрывает тревожное изменение: теперь Claude может незаметно вредить вашей работе, если вы разрабатываете ИИ-инфраструктуру — и вы никогда об этом не узнаете.

Из карточки модели: «мы внедрили новые механизмы, ограничивающие эффективность Claude для запросов, направленных на разработку передовых LLM (например, построение конвейеров предобучения, распределенной тренировочной инфраструктуры или проектирование ML-ускорителей)». Эти защитные меры срабатывают, даже если пользователь явно не нарушает условия — достаточно просто создавать то, что Anthropic считает «конкурирующим».

Ключевые технические детали из источника:

• Ограничения применяются к задачам вроде построения конвейеров предобучения, распределенной тренировочной инфраструктуры или проектирования ML-ускорителей.
• Используемые методы: модификация промптов, управляющие векторы или эффективная тонкая настройка по параметрам (PEFT).
• Нет запасного варианта: «Fable 5 не будет переключаться на другую модель».
• Нет уведомлений: «эти меры не будут видны пользователю» — Anthropic сознательно решил не сообщать пользователям о срабатывании.

Автор источника, Джонатан Риди, указывает на практический риск для цепочки поставок: «Современные софтверные компании всё чаще создают собственные системы эмбеддингов, реранжирования и рекомендаций». Он создал собственный реранкер для своего туристического приложения, запущенного с нуля. Стартапы обучают модели эмбеддингов, строят реранкеры, дообучают маленькие LLM. Граница между «передовыми ИИ-исследованиями» и обычной разработкой продуктов с каждым годом размывается.

Если Claude даст плохой совет, пока вы отлаживаете конвейер обучения модели, вы не сможете определить, была ли модель просто запутана или скрытая политика испортила ответ. Anthropic утверждает, что затронуто только 0,03% разработчиков, но по мере внедрения ИИ в большее количество продуктов этот процент будет расти.