블랙 LLAB: 동적 모델 라우팅 및 도커 샌드박스 AI 에이전트를 위한 오픈소스 아키텍처

한 개발자가 자율적 작업 실행을 위한 최첨단 AI 연구실 시스템을 재현하려는 오픈소스 프로젝트인 Black LLAB를 공개했습니다. 이 시스템은 서로 다른 프롬프트에 어떤 모델을 사용할지 수동으로 결정하는 문제와 AI 에이전트 코드를 안전하게 실행하는 문제라는 두 가지 주요 문제를 해결합니다.

아키텍처 구성 요소

이 시스템은 다음과 같은 주요 구성 요소로 이루어져 있습니다:

• 동적 복잡도 라우팅: Mistral 3B Instruct를 사용해 프롬프트를 1-100점 척도로 평가합니다. 간단한 질문은 빠르고 저렴한 모델로 라우팅되고, 복잡한 코딩 작업은 "Lost in the Middle" XML 컨텍스트 형성을 지원하는 고성능 모델로 라우팅됩니다.
• Docker 샌드박스 에이전트: OpenClaw를 통합하여 에이전트를 전용 격리 Docker 컨테이너에 배포합니다. 에이전트는 호스트 OS에 접촉하지 않고 파일을 작성하고, 웹을 스크래핑하며, 코드를 실행할 수 있습니다.
• 고급 하이브리드 RAG: NetworkX를 사용해 지속적인 지식 그래프를 구축하고, 표준 벡터 검색을 넘어 정확한 컨텍스트 검색을 위해 Cross-Encoder를 사용합니다.
• 실시간 웹 및 비전: 웹 스크래핑을 위해 로컬 SearxNG와, 로컬 비전/OCR을 위해 Pix2Text와 통합됩니다.
• 예산 가드레일: 클라우드 API 초과 사용을 방지하기 위한 일일 지출 한도 슬라이더를 포함합니다.

모델 라인업

이 시스템은 다양한 목적을 위해 여러 모델을 사용합니다:

• 라우팅/로직: Mistral 3B & Qwen 3.5 9B (로컬)
• 중간급/속도: Xiaomi MiMo Flash
• 고성능 작업 (페일오버): Claude Opus & Perplexity Sonar

기술 스택

이 프로젝트는 FastAPI, Python, NetworkX, ChromaDB, Docker, Ollama, Playwright 및 바닐라 HTML/JS 터미널 스타일 UI로 구축되었습니다.

개발자는 자신을 "소프트웨어 엔지니어보다는 기계 엔지니어에 가깝다"고 설명하며, 특히 Docker 샌드박싱 접근 방식에 대한 시니어 개발자의 피드백을 구하고 있습니다. 이 프로젝트는 단일 제공업체에 종속되지 않고 자율 작업을 실행하려는 독립 연구자를 위해 GitHub에서 이용 가능합니다.