リポジトリトークン：GitHubアクションがLLMコンテキストウィンドウ認識のためのトークン数バッジを追加

Repo Tokensは、コードベースのトークン数を計算し、READMEに視覚的なバッジを追加して、リポジトリが大規模言語モデルのコンテキストウィンドウのどの程度を占めるかを示すGitHub Actionです。目標は、JavaScriptライブラリのバンドルサイズバッジと同様に、トークンサイズを可視化された指標とし、AIコーディングエージェントとの互換性が高い、より軽量なコードベースを促進することです。

仕組み

このアクションはトークン化にtiktokenを使用します。約60行のインラインPythonを実行し、実行には約10秒かかります。複合アクションとして実装されています。

設定と出力

コンテキストウィンドウのサイズは設定可能で、デフォルトは200,000トークン（Claudeモデルのサイズに合わせています）です。バッジの色は、設定されたコンテキストウィンドウに対してコードベースが占める割合を反映します：

• 緑：30％未満
• 黄：50-70％
• 赤：70％以上

このアクションはREADMEファイルを更新しますが、変更を自動的にコミットすることはなく、ワークフローがgit戦略を制御できるようにします。

この種のツールは、AIアシスタントを扱う開発者にとって有用です。コードベースをLLMのコンテキストウィンドウ内に収めることで、コーディングタスク中にエージェントがプロジェクトの構造と依存関係を完全に把握できるようになります。