UIUCのAIティーチングアシスタントが11モデルを並行してサブ2秒の応答を実現

UIUCのAIイノベーションセンターは、電気工学コース向けのオープンソースAI教育アシスタントを公開し、HuggingFace Spacesで稼働中です。このシステムは、テキスト/画像の検索、生成、モデレーション、ランキングのために11の個別モデルを並列実行し、中央値2秒の応答時間を達成しています。

アーキテクチャ

このアシスタントは、Pineconeベクトルデータベースを用いた検索拡張生成（RAG）を採用。データソースには、教科書、講義ビデオ（Whisperで文字起こし）、学生のQAフォーラムが含まれます。コードベースはMITライセンスで、自身のPineconeデータベースに接続可能です。

RLHFデータセット

チームは5人の電気工学学生を雇い、UIUCのECE 120コースを対象としたRLHF用の比較データセットを作成しました。データセットはHuggingFaceで公開されています：kastan/rlhf-qa-comparisons。

評価

新機能が追加されるたびに自動評価が実行されます。EEエンジニアの専門家が作成した評価データセットを使用して、各モデルが回答を生成。GPT-3が生成回答を人間作成の正解と比較し、「良い」か「悪い」かを判定します。既知の制限：GPT-3は自身を評価するため、GPT-3の出力を好む傾向があります。

クイックスタート

pip install -r requirements.txt
# run_ta_gradio.shでAPIキーを設定後:
bash run_ta_gradio.sh

提供スクリプトを使用して独自のPineconeインデックスを構築：教科書（PDF）、ビデオ文字起こし（Whisper）、講義スライド（.jpg画像）から。

主要ファイル

• main.py — モデル集約
• TA_gradio_ux.py — Gradio UI
• prompting.py — プロンプトテンプレート
• evaluation.py — GPT-3評価ループ
• feedback.json — 収集されたユーザーフィードバック

リポジトリは146コミット、57スター、並列モデルパイプラインを示すシステム図を含みます。