Asistente de Enseñanza de IA de UIUC Ejecuta 11 Modelos en Paralelo para Respuestas en Menos de 2 Segundos

El Centro de Innovación en IA de UIUC ha lanzado un asistente docente de IA de código abierto para cursos de Ingeniería Eléctrica, disponible en HuggingFace Spaces. El sistema orquesta 11 modelos separados en paralelo para recuperación y generación de texto e imágenes, moderación y clasificación, logrando un tiempo de respuesta medio de 2 segundos.

Arquitectura

El asistente utiliza generación aumentada por recuperación (RAG) con una base de datos vectorial de Pinecone. Las fuentes de datos incluyen libros de texto, videos de clases (transcritos con Whisper) y foros de preguntas de estudiantes. El código base tiene licencia MIT y está listo para conectarse a tu propia base de datos de Pinecone.

Conjunto de datos RLHF

El equipo contrató a cinco estudiantes de Ingeniería Eléctrica para producir un conjunto de datos comparativos para RLHF, cubriendo el curso ECE 120 de UIUC. El conjunto de datos está disponible gratuitamente en HuggingFace: kastan/rlhf-qa-comparisons.

Evaluación

Cada nueva función desencadena una evaluación automática. El conjunto de datos de evaluación, escrito por ingenieros eléctricos expertos, se utiliza para generar respuestas de cada modelo. Luego, GPT-3 juzga si las respuestas generadas son "mejores" o "peores" que la verdad básica escrita por humanos. Limitación conocida: GPT-3 se evalúa a sí mismo y tiende a favorecer los resultados de GPT-3.

Inicio rápido

pip install -r requirements.txt
# Establece las claves API en run_ta_gradio.sh, luego:
bash run_ta_gradio.sh

Construye tu propio índice de Pinecone usando los scripts proporcionados: libros de texto desde PDF, transcripciones de video desde Whisper o diapositivas de clases desde imágenes .jpg.

Archivos clave

• main.py — agregación de modelos
• TA_gradio_ux.py — interfaz de Gradio
• prompting.py — plantillas de prompts
• evaluation.py — bucle de evaluación de GPT-3
• feedback.json — comentarios de usuarios recopilados

El repositorio contiene 146 commits, 57 estrellas y un diagrama del sistema que muestra el pipeline de modelos en paralelo.