FUTO 스와이프: 오픈소스 스와이프 타이핑 모델, 빅테크 정확도에 도달하다

FUTO가 FUTO Swipe를 출시했습니다. 이는 오픈소스 스와이프 입력 모델 및 알고리즘 제품군으로, 추론 라이브러리를 포함합니다. 이 모델들은 Android용 FUTO 키보드의 오프라인 입력을 지원하지만, FUTO 모델 라이선스에 따라 독립적으로 사용할 수도 있습니다.

아키텍처 및 벤치마크

FUTO Swipe는 세 가지 모델 유형을 사용합니다:

• 인코더 (635,140 파라미터) – 레이아웃 및 언어에 구애받지 않는 범용 예측기입니다.
• ContextLM (총 1,498,472 파라미터, 1.1M 임베딩) – 언어별로 학습된 작은 언어 모델로, 문맥을 고려해 무의미한 단어를 걸러냅니다. 텍스트 데이터만 필요합니다.
• 디코더 (304,155 파라미터) – 언어 및 레이아웃에 특화됩니다. 현재는 실제 스와이프 데이터로 학습된 QWERTY 영어만 지원합니다.

결합된 모델(1,364,271 활성 / 2,494,767 총 파라미터)은 테스트 세트에서 top-4 실패율 약 4%를 달성합니다. 어휘 외 단어를 제외하면 오류율이 1% 미만입니다. FUTO에 따르면 이는 대형 기술 기업의 키보드와 비슷한 수준입니다. 벤치마크는 데이터셋에 따라 달라지며, 관련 논문은 곧 공개될 예정입니다.

데이터셋

FUTO는 MIT 라이선스로 100만 건의 실제 QWERTY 영어 스와이프 데이터셋을 공개했습니다. 이는 swipe.futo.org에서 자발적 사용자로부터 수집되었으며, HuggingFace에서 확인할 수 있습니다.

추론 라이브러리

함께 제공되는 swipe-library(C++, GPL)는 추론, 디코딩 및 사전 기반 빔 검색을 처리합니다. 빔 폭 300으로 스와이프 경로를 순위화된 단어 후보로 변환합니다. 이 라이브러리는 저사양 기기에서도 밀리초 단위로 실행됩니다.

사용 방법

• futo.org에서 FUTO 키보드 v0.1.29를 설치하면 오프라인 스와이프 입력을 바로 사용할 수 있습니다.
• HuggingFace에서 모델을 다운로드하고 swipe-library를 통해 통합하세요.
• FUTO 모델 라이선스에 따라 출처 표시가 필요합니다.

FUTO는 훈련 및 아키텍처를 설명하는 논문을 준비 중입니다. 데이터셋과 모델은 현재 개발자가 활용할 수 있도록 공개되었습니다.