OmniCoder-9B: 425K 에이전트 궤적으로 미세 조정된 90억 파라미터 코딩 에이전트

테슬레이트가 Qwen3.5-9B의 하이브리드 아키텍처를 기반으로 파인튜닝한 90억 파라미터 코딩 에이전트 모델 OmniCoder-9B를 공개했습니다. 이 아키텍처는 표준 어텐션과 인터리빙된 게이티드 델타 네트워크를 사용합니다.

학습 데이터 및 출처

이 모델은 실제 소프트웨어 엔지니어링 작업을 아우르는 425,000개 이상의 정제된 에이전트 코딩 트랙으로 학습되었습니다. 학습 데이터는 특히 Claude Opus 4.6 에이전트 및 코딩 추론 트레이스에서 구축되었으며, 다음의 스캐폴딩 패턴을 대상으로 합니다:

• Claude Code
• OpenCode
• Codex
• Droid

데이터셋에는 Claude Opus 4.6, GPT-5.4, GPT-5.3-Codex, Gemini 3.1 Pro와 같은 모델의 성공적인 트랙이 포함되어 있습니다.

주요 특징

• 프론티어 에이전트 트레이스 학습: Claude Code, OpenCode, Codex, Droid 스캐폴딩에서 Claude Opus 4.6, GPT-5.3-Codex, GPT-5.4, Gemini 3.1 Pro 에이전트 코딩 트랙으로 구축됨
• 하이브리드 아키텍처: 효율적인 장문맥 처리를 위해 표준 어텐션과 인터리빙된 Qwen3.5의 게이티드 델타 네트워크 상속
• 262K 네이티브 컨텍스트: 전체 262,144 토큰 컨텍스트 윈도우, 100만 이상으로 확장 가능
• 오류 복구: 쓰기 전 읽기 패턴 학습, LSP 진단 응답, 전체 재작성 대신 최소 편집 차분 적용
• 사고 모드: 복잡한 문제 분해를 위한 <think>...</think> 추론 체인 지원
• Apache 2.0: 완전한 오픈 웨이트, 제한 없음

에이전트 행동

이 모델은 학습된 실제 에이전트 트랙에서 직접 학습한 강력한 에이전트 행동을 보여줍니다. 쓰기 전 읽기 패턴을 사용하여 오류에서 복구하고, LSP 진단에 응답하며, 전체 재작성 대신 적절한 편집 차분을 사용합니다.

모델은 https://huggingface.co/Tesslate/OmniCoder-9B에서 이용 가능합니다.