UIUC AI-ассистент преподавателя запускает 11 моделей параллельно для ответов менее чем за 2 секунды

Центр инноваций в области ИИ при UIUC выпустил открытого ИИ-ассистента преподавателя для курсов по электротехнике, доступного на HuggingFace Spaces. Система координирует работу 11 отдельных моделей параллельно для поиска текста/изображений, генерации, модерации и ранжирования, достигая медианного времени ответа в 2 секунды.

Архитектура

Ассистент использует генерацию с дополнением извлечения (RAG) с векторной базой данных Pinecone. Источники данных включают учебники, видеолекции (транскрибированные через Whisper) и форумы студенческих вопросов-ответов. Код опубликован под лицензией MIT и готов к подключению вашей собственной базы данных Pinecone.

Набор данных RLHF

Команда наняла пять студентов электротехнического факультета для создания набора данных сравнения для RLHF по курсу UIUC ECE 120. Набор свободно доступен на HuggingFace: kastan/rlhf-qa-comparisons.

Оценка

Каждая новая функция запускает автоматическую оценку. Оценочный набор данных, написанный экспертами-инженерами-электротехниками, используется для генерации ответов каждой моделью. Затем GPT-3 оценивает, являются ли сгенерированные ответы «лучше» или «хуже» эталонных, написанных человеком. Известное ограничение: GPT-3 оценивает сам себя и склонен отдавать предпочтение результатам GPT-3.

Быстрый старт

pip install -r requirements.txt
# Установите ключи API в run_ta_gradio.sh, затем:
bash run_ta_gradio.sh

Создайте собственный индекс Pinecone с помощью предоставленных скриптов: учебники из PDF, транскрипты видео из Whisper или слайды лекций из изображений .jpg.

Ключевые файлы

• main.py — агрегация моделей
• TA_gradio_ux.py — интерфейс Gradio
• prompting.py — шаблоны запросов
• evaluation.py — цикл оценки GPT-3
• feedback.json — собранные отзывы пользователей

Репозиторий содержит 146 коммитов, 57 звезд и диаграмму системы, показывающую конвейер параллельных моделей.