FUTO Swipe: Модели набора текста свайпом с открытым исходным кодом достигают точности крупных технологических компаний

Компания FUTO выпустила FUTO Swipe — семейство моделей и алгоритмов свайп-тайпинга с открытым исходным кодом, а также библиотеку для инференса. Модели обеспечивают работу офлайн-клавиатуры FUTO Keyboard для Android, но могут использоваться независимо по лицензии FUTO Model License.

Архитектура и бенчмарки

FUTO Swipe использует три типа моделей:

• Энкодер (635 140 параметров) — независимый от раскладки и языка универсальный предсказатель.
• ContextLM (1 498 472 параметра всего, 1.1M эмбеддингов) — крошечная языковая модель, обучаемая для каждого языка, отфильтровывает бессмысленные слова с учётом контекста. Требует только текстовые данные.
• Декодер (304 155 параметров) — зависит от языка и раскладки. Пока только QWERTY английский, обученный на реальных данных свайпов.

Вместе (1 364 271 активных / 2 494 767 всего параметров) модели достигают ~4% частоты ошибок в топ-4 на тестовом наборе. Исключая слова вне словаря, частота ошибок ниже 1%. По словам FUTO, это сопоставимо с клавиатурами крупных технологических компаний. Бенчмарки зависят от набора данных, статья готовится к публикации.

Набор данных

FUTO выпустила набор данных из 1 миллиона реальных английских свайпов QWERTY под лицензией MIT, собранных от добровольцев на swipe.futo.org. Доступен на HuggingFace.

Библиотека инференса

Сопутствующая библиотека swipe-library (C++, GPL) выполняет инференс, декодирование и лучевой поиск с ограничениями по словарю. С шириной луча 300 она преобразует траектории свайпов в ранжированные кандидаты слов. Библиотека работает на устройстве за миллисекунды, даже на слабых устройствах.

Как использовать

• Установите FUTO Keyboard v0.1.29 с futo.org для готового решения с офлайн-свайп-тайпингом.
• Загрузите модели с HuggingFace и интегрируйте через swipe-library.
• Требуется указание авторства согласно лицензии FUTO Model License.

FUTO работает над статьёй, описывающей обучение и архитектуру. Набор данных и модели уже доступны для разработчиков.