Assistente de IA da UIUC Executa 11 Modelos em Paralelo para Respostas em Menos de 2 Segundos

O Centro de Inovação em IA da UIUC lançou um assistente de ensino de IA open-source para cursos de Engenharia Elétrica, disponível no HuggingFace Spaces. O sistema orquestra 11 modelos separados em paralelo para recuperação e geração de texto e imagem, moderação e classificação, alcançando um tempo de resposta médio de 2 segundos.

Arquitetura

O assistente usa geração aumentada por recuperação (RAG) com um banco de vetores Pinecone. As fontes de dados incluem livros didáticos, vídeos de aulas (transcritos via Whisper) e fóruns de perguntas e respostas de alunos. O código é licenciado sob MIT e está pronto para ser conectado ao seu próprio banco de dados Pinecone.

Conjunto de Dados RLHF

A equipe contratou cinco alunos de Engenharia Elétrica para produzir um conjunto de dados de comparação para RLHF, cobrindo o curso ECE 120 da UIUC. O conjunto está disponível gratuitamente no HuggingFace: kastan/rlhf-qa-comparisons.

Avaliação

Cada novo recurso aciona uma avaliação automatizada. O conjunto de dados de avaliação, escrito por engenheiros elétricos especialistas, é usado para gerar respostas de cada modelo. Em seguida, o GPT-3 julga se as respostas geradas são "melhores" ou "piores" que as respostas de referência escritas por humanos. Limitação conhecida: o GPT-3 avalia a si mesmo e tende a favorecer saídas do GPT-3.

Início Rápido

pip install -r requirements.txt
# Configure as chaves de API em run_ta_gradio.sh, depois:
bash run_ta_gradio.sh

Construa seu próprio índice Pinecone usando os scripts fornecidos: livros didáticos em PDF, transcrições de vídeo do Whisper ou slides de aula em imagens .jpg.

Arquivos Principais

• main.py — agregação de modelos
• TA_gradio_ux.py — interface Gradio
• prompting.py — modelos de prompt
• evaluation.py — loop de avaliação GPT-3
• feedback.json — feedback coletado dos usuários

O repositório contém 146 commits, 57 estrelas e um diagrama do sistema mostrando o pipeline de modelos paralelos.