FUTO Swipe: オープンソースのスワイプ入力モデルがビッグテックの精度に匹敵

FUTOは、オープンソースのスワイプ入力モデルとアルゴリズムのファミリーFUTO Swipeを、推論ライブラリとともに公開しました。これらのモデルは、Android向けのオフライン対応FUTO Keyboardを支えていますが、FUTO Model Licenseのもとで独立して使用することもできます。

アーキテクチャとベンチマーク

FUTO Swipeは3つのモデルタイプを使用します：

• エンコーダ（635,140パラメータ）— レイアウト非依存、言語非依存の汎用予測器。
• ContextLM（合計1,498,472パラメータ、埋め込み1.1M）— コンテキストから無意味な単語をフィルタリングするために言語ごとに訓練された小型言語モデル。テキストデータのみが必要。
• デコーダ（304,155パラメータ）— 言語およびレイアウト固有。現在はQWERTY英語のみで、実際のスワイプデータで訓練。

これらを組み合わせることで（有効1,364,271 / 合計2,494,767パラメータ）、テストセットでトップ4失敗率約4%を達成。語彙外の単語を除外すると、エラー率は1%未満。FUTOによれば、これは大手テクノロジー企業のキーボードに匹敵します。ベンチマークはデータセットに依存しますが、論文は近日公開予定です。

データセット

FUTOは、swipe.futo.orgで自発的なユーザーから収集した100万件の実際のQWERTY英語スワイプのデータセットをMITライセンスで公開。こちらから入手可能：HuggingFace。

推論ライブラリ

付属のswipe-library（C++、GPL）は、推論、デコード、辞書制約付きビームサーチを処理します。ビーム幅300で、スワイプパスをランク付けされた単語候補に変換します。このライブラリは、低スペック端末でもミリ秒単位で動作します。

使用方法

• futo.orgからFUTO Keyboard v0.1.29をインストールすると、オフラインスワイプ入力をすぐに利用できます。
• HuggingFaceからモデルをダウンロードし、swipe-libraryを介して統合。
• FUTO Model Licenseに従い、帰属表示が必要です。

FUTOは訓練とアーキテクチャに関する論文を準備中です。データセットとモデルは現在入手可能で、開発者がこれを基に構築できます。