ローカルで動作するGemma 4 26B A4B用のシングルページチャットボットインターフェース

開発者が、Gemma 4 26B A4Bをローカルで実行するための単一HTMLページのチャットボットインターフェースを作成しました。この実装はLM StudioのAPIに接続し、単一のHTMLファイル内に完全なチャットボットインターフェースを提供します。

技術的実装

このシステムは、32Kのコンテキストウィンドウを持つGemma 4 26B A4Bをローカルで実行し、毎秒50〜65トークンを達成します。モデルは2つのGPU（7900 XTと3060 Ti）間でシャーディングされています。

インターフェース機能

• リアルタイム応答のための完全なストリーミングサポート
• フォーマットされた出力のためのMarkdownレンダリング
• 利用可能なモデル間を切り替えるモデルセレクター
• モデルの動作を微調整するための6つのパラメータスライダー
• 履歴分岐機能を備えたメッセージ編集
• 応答再生成のためのリジェネレート機能
• ストリーミング中に生成を停止するための中断ボタン
• カスタム指示のためのシステムプロンプトサポート

開発詳細

開発者は、Gemmaでは解決できなかった2つのDOMバグを修正するためにClaudeを使用したと述べています。その他のすべての開発作業はGemma 4を使用して完了しました。このプロジェクトはGitHubで公開されており、調査や使用が可能です。

この種の単一ページインターフェースは、複雑なWebアプリケーションのオーバーヘッドなしに、軽量でカスタマイズ可能なチャットインターフェースを求めるローカルLLMを扱う開発者にとって特に有用です。LM StudioのAPIとの統合により、Gemmaだけでなく様々なローカルモデルとの互換性が確保されています。