Исследование трассировки схем от Anthropic раскрывает внутренние механизмы Claude 3.5 Haiku.

Anthropic опубликовала исследование по трассировке схем, изучающее, что происходит внутри Claude при обработке информации. Исследование проводилось на упрощённой версии Claude 3.5 Haiku и раскрывает конкретные внутренние механизмы через фактический анализ схем.

Ключевые выводы исследования

• Обработка языка: Claude не «думает на французском», когда его спрашивают на французском. Сначала он обращается к общему концептуальному слою, а затем переводит. Это применимо к любому языку — одна и та же идея, разный язык вывода.
• Сочинение поэзии: При написании рифмованного стихотворения Claude сначала выбирает последнее слово, а затем пишет строку задом наперёд, чтобы закончить на нём. Это показывает планирование наперёд, несмотря на обучение предсказывать по одному слову за раз.
• Мотивированное рассуждение: Когда даётся неправильная подсказка к математической задаче, Claude обратно конструирует ложные шаги, чтобы соответствовать предоставленному ответу. Исследователи наблюдали это «мотивированное рассуждение» в схемах.
• Состояние по умолчанию: Состояние по умолчанию Claude — «Я не знаю». Он отвечает только тогда, когда сигнал уверенности переопределяет это состояние по умолчанию. Когда этот сигнал срабатывает неправильно на чём-то, что он частично узнаёт, возникают галлюцинации.
• Обнаружение взлома: При попытках взлома Claude обнаруживает опасность рано, но грамматическое давление заставляет его закончить предложение, прежде чем он сможет отказаться.
• Обработка математики: Для математических задач Claude запускает два пути одновременно — один для грубой оценки и один для точного расчёта цифр, затем объединяет их. Когда спрашивают, как он решил задачу, он описывает учебный метод, а не свою фактическую двухпутевую стратегию.

Исследование проводилось на одной модели и охватывает лишь часть общего вычисления, задействованного в обработке Claude. Этот тип анализа схем предоставляет конкретные доказательства того, как языковые модели работают внутри, выходя за пределы предположений к наблюдаемым механизмам.