UIUC AI 조교, 11개 모델 병렬 실행으로 2초 미만 응답

UIUC의 AI 혁신 센터는 전기공학 과정을 위한 오픈소스 AI 조교를 HuggingFace Spaces에 공개했습니다. 이 시스템은 텍스트/이미지 검색, 생성, 조정 및 순위 지정을 위해 11개의 개별 모델을 병렬로 오케스트레이션하여 중간 2초의 응답 시간을 달성합니다.

구조

이 조교는 Pinecone 벡터 데이터베이스를 사용한 검색 증강 생성(RAG)을 활용합니다. 데이터 소스에는 교과서, 강의 동영상(Whisper로 텍스트 변환), 학생 QA 포럼이 포함됩니다. 코드베이스는 MIT 라이선스로 제공되며 자체 Pinecone 데이터베이스에 바로 연결할 수 있습니다.

RLHF 데이터셋

팀은 5명의 전기공학 학생을 고용하여 UIUC의 ECE 120 과정을 대상으로 RLHF용 비교 데이터셋을 제작했습니다. 데이터셋은 HuggingFace에서 무료로 제공됩니다: kastan/rlhf-qa-comparisons.

평가

새로운 기능마다 자동 평가가 실행됩니다. 전문 EE 엔지니어가 작성한 평가 데이터셋을 사용해 각 모델의 답변을 생성합니다. 그런 다음 GPT-3가 생성된 답변이 인간이 작성한 정답보다 '더 좋은지' 또는 '더 나쁜지' 판단합니다. 알려진 한계: GPT-3가 자기 자신을 평가하므로 GPT-3 출력을 선호하는 경향이 있습니다.

빠른 시작

pip install -r requirements.txt
# run_ta_gradio.sh에서 API 키 설정 후:
bash run_ta_gradio.sh

제공된 스크립트를 사용하여 자체 Pinecone 인덱스를 구축하세요: PDF의 교과서, Whisper의 동영상 자막, .jpg 이미지의 강의 슬라이드.

주요 파일

• main.py — 모델 집계
• TA_gradio_ux.py — Gradio UI
• prompting.py — 프롬프트 템플릿
• evaluation.py — GPT-3 평가 루프
• feedback.json — 수집된 사용자 피드백

저장소에는 146개의 커밋, 57개의 별, 병렬 모델 파이프라인을 보여주는 시스템 다이어그램이 포함되어 있습니다.