Assistant d'enseignement IA de l'UIUC exécute 11 modèles en parallèle pour des réponses en moins de 2 secondes

Le Centre d'innovation en IA de l'UIUC a publié un assistant pédagogique IA open source pour les cours de génie électrique, disponible sur HuggingFace Spaces. Le système orchestre 11 modèles distincts en parallèle pour la recherche et la génération de texte/image, la modération et le classement, atteignant un temps de réponse médian de 2 secondes.

Architecture

L'assistant utilise la génération augmentée par récupération (RAG) avec une base de données vectorielles Pinecone. Les sources de données incluent des manuels, des vidéos de cours (transcrites via Whisper) et des forums de questions-réponses étudiants. Le code est sous licence MIT et prêt à être intégré à votre propre base Pinecone.

Jeu de données RLHF

L'équipe a embauché cinq étudiants en génie électrique pour produire un jeu de données de comparaison pour RLHF, couvrant le cours ECE 120 de l'UIUC. Le jeu de données est disponible gratuitement sur HuggingFace : kastan/rlhf-qa-comparisons.

Évaluation

Chaque nouvelle fonctionnalité déclenche une évaluation automatique. Le jeu de données d'évaluation, rédigé par des ingénieurs experts, est utilisé pour générer des réponses à partir de chaque modèle. GPT-3 évalue ensuite si les réponses générées sont « meilleures » ou « pires » que la vérité terrain écrite par des humains. Limitation connue : GPT-3 s'évalue lui-même et a tendance à favoriser ses propres réponses.

Démarrage rapide

pip install -r requirements.txt
# Définir les clés API dans run_ta_gradio.sh, puis :
bash run_ta_gradio.sh

Construisez votre propre index Pinecone à l'aide des scripts fournis : manuels à partir de PDF, transcriptions vidéo à partir de Whisper, ou diapositives de cours à partir d'images .jpg.

Fichiers clés

• main.py — agrégation des modèles
• TA_gradio_ux.py — interface Gradio
• prompting.py — modèles de prompts
• evaluation.py — boucle d'évaluation GPT-3
• feedback.json — retours utilisateurs collectés

Le dépôt contient 146 commits, 57 étoiles et un diagramme système montrant le pipeline de modèles parallèles.