UIUC KI-Tutor betreibt 11 Modelle parallel für Antworten unter 2 Sekunden

Das Center for AI Innovation der UIUC hat einen Open-Source-KI-Tutor für Elektrotechnik-Kurse veröffentlicht, der live auf HuggingFace Spaces läuft. Das System orchestriert 11 separate Modelle parallel für Text-/Bildabruf, Generierung, Moderation und Bewertung und erreicht eine mediane Antwortzeit von 2 Sekunden.

Architektur

Der Tutor nutzt Retrieval-Augmented Generation (RAG) mit einer Pinecone-Vektordatenbank. Zu den Datenquellen gehören Lehrbücher, Vorlesungsvideos (transkribiert mit Whisper) und studentische QA-Foren. Der Code ist unter MIT-Lizenz veröffentlicht und kann in Ihre eigene Pinecone-Datenbank integriert werden.

RLHF-Datensatz

Das Team hat fünf Elektrotechnik-Studenten beauftragt, einen Vergleichsdatensatz für RLHF zu erstellen, der den Kurs UIUC ECE 120 abdeckt. Der Datensatz ist frei auf HuggingFace verfügbar: kastan/rlhf-qa-comparisons.

Bewertung

Jede neue Funktion löst eine automatisierte Bewertung aus. Der Bewertungsdatensatz, der von erfahrenen EE-Ingenieuren erstellt wurde, wird verwendet, um Antworten von jedem Modell zu generieren. GPT-3 bewertet dann, ob die generierten Antworten „besser“ oder „schlechter“ sind als die von Menschen geschriebenen Referenzantworten. Bekannte Einschränkung: GPT-3 bewertet sich selbst und neigt dazu, eigene Ausgaben zu bevorzugen.

Schnellstart

pip install -r requirements.txt
# Set API keys in run_ta_gradio.sh, then:
bash run_ta_gradio.sh

Erstellen Sie Ihren eigenen Pinecone-Index mit den bereitgestellten Skripten: Lehrbücher aus PDF, Videotranskripte mit Whisper oder Vorlesungsfolien aus .jpg-Bildern.

Wichtige Dateien

• main.py — Modellaggregation
• TA_gradio_ux.py — Gradio-Oberfläche
• prompting.py — Prompt-Vorlagen
• evaluation.py — GPT-3-Bewertungsschleife
• feedback.json — gesammeltes Nutzer-Feedback

Das Repository umfasst 146 Commits, 57 Sterne und ein Systemdiagramm, das die parallele Modellpipeline zeigt.