Игла: 26-миллионная модель вызова инструментов, построенная полностью без FFN

Needle — это модель с 26 миллионами параметров, специально разработанная для одношагового вызова функций. Она использует кросс-внимание и стробирующие слои без FFN, исходя из идеи, что вызов инструментов — это поиск и сборка (сопоставление запроса с именем инструмента, извлечение значений аргументов, вывод JSON), а не рассуждение. Модель работает со скоростью 6000 токенов/с на префилле и 1200 токенов/с на декоде на потребительских устройствах.

Детали обучения

• Предварительное обучение на 200 миллиардах токенов на 16 TPU v6e (27 часов)
• Пост-обучение на 2 миллиардах токенов синтезированных данных вызова функций (45 минут)
• Данные синтезированы с помощью Gemini по 15 категориям инструментов (таймеры, обмен сообщениями, навигация, умный дом и т.д.)

Архитектура: Простые сети внимания

Вся модель состоит только из внимания и стробирования — без MLP нигде. Авторы утверждают, что параметры FFN тратятся впустую при таком масштабе для вызова инструментов, и что вывод «без FFN» обобщается на любые задачи, где модель имеет доступ к внешним структурированным знаниям (RAG, использование инструментов, генерация с дополнением извлечением). Модели не нужно запоминать факты в весах FFN, если факты предоставлены на входе.

Бенчмарки

Needle превосходит FunctionGemma-270M, Qwen-0.6B, Granite-350M и LFM2.5-350M в одношаговом вызове функций, хотя эти модели имеют больший потенциал для диалоговых сценариев.

Как использовать

# Протестируйте модель через playground или дообучите на своем Mac/PC
git clone https://github.com/cactus-compute/needle

• GitHub: github.com/cactus-compute/needle
• Веса: huggingface.co/Cactus-Compute/needle
• Описание архитектуры: Документация Simple Attention Networks
• Инференс-движок для мобильных устройств/носимой электроники (Cactus): github.com/cactus-compute/cactus

Все лицензировано по MIT.