Gemma 4 E2B를 TypeScript 프레임워크에서 멀티 에이전트 코디네이터로 테스트

코디네이터 능력 테스트

이 테스트는 Gemma 4 E2B가 다중 에이전트 시스템에서 코디네이터 역할을 처리할 수 있는지 평가했습니다. 구체적으로는 자연어 목표를 받아 작업 그래프로 분해하고, 에이전트를 할당하며, 도구를 호출하고, 결과를 통합하는 능력을 확인했습니다.

기술 구현

사용된 프레임워크는 open-multi-agent(TypeScript, 오픈소스)로, OpenAI 호환 API를 통해 Ollama를 사용했습니다. 코디네이터는 목표와 에이전트 명단을 받은 후 제목, 설명, 담당자, 의존성을 포함한 JSON 작업 배열을 출력합니다. 에이전트는 bash 및 파일 읽기/쓰기 작업을 포함한 도구 호출 기능으로 실행됩니다.

모델 상세 정보

Gemma 4 E2B("Effective 2B")는 2.3B개의 유효 파라미터와 5.1B개의 총 파라미터를 가지고 있습니다. 추가 약 2.8B개의 파라미터는 140개 이상의 언어와 멀티모달 기능을 지원하는 임베딩 레이어용입니다.

테스트 시나리오

제공된 목표는 다음과 같았습니다: "이 기계의 Node.js 버전, npm 버전 및 OS 정보를 확인한 후 /tmp/report.md에 짧은 마크다운 요약 보고서를 작성하세요."

E2B는 올바르게:

• 의존성(연구원 → 요약자)을 가진 2개의 작업으로 분해했습니다
• 각 작업을 적절한 에이전트에 할당했습니다
• 시스템 명령을 실행하기 위해 bash를 사용했습니다
• 보고서를 저장하기 위해 file_write를 사용했습니다
• 최종 출력을 종합했습니다

runTasks()(명시적 파이프라인)와 runTeam()(모델이 모든 것을 자율적으로 계획) 모두 작동했습니다.

성능 및 관찰 결과

16GB RAM의 M1에서:

• 전체 runTeam()은 약 2분 소요
• 내부적으로 6~9개의 순차적 LLM 호출(코디네이터 계획 → 연구원 다중 턴 도구 사용 → 요약자 → 코디네이터 종합)
• M1에서 호출당 약 10~15초
• E2B는 메모리 압박 없이 약 3~4GB RAM 사용

잘 작동한 부분:

• JSON 출력: 코디네이터가 작업 분해를 위한 올바른 스키마를 생성했습니다. 프레임워크는 먼저 펜스 블록을 시도한 후 베어 배열 추출로 폴백하는 관대한 파싱을 가지고 있습니다.
• 도구 호출: OpenAI 호환 엔드포인트를 통해 작동하며, 호출 시기를 올바르게 결정하고, 인수를 파싱하며, 다중 턴 결과를 처리합니다.

지적된 제한 사항:

• 출력 품질: 최종 종합의 산문은 더 큰 모델보다 눈에 띄게 약합니다. 기능적이지만 세련되지 않았습니다.

재현 단계

ollama pull gemma4:e2b
git clone https://github.com/JackChen-me/open-multi-agent
cd open-multi-agent && npm install
no_proxy=localhost npx tsx examples/08-gemma4-local.ts

테스트 파일은 examples/08-gemma4-local.ts에 약 190줄입니다. no_proxy=localhost 설정은 HTTP 프록시가 구성된 경우에만 필요합니다.