오크스트라: 오픈클로를 위한 비용 인식 LLM 라우팅 레이어, API 비용을 60-80% 절감
Orkestra의 역할
Orkestra는 OpenClaw를 위해 구축된 비용 인식 LLM 라우팅 레이어로, API 비용을 60-80% 절감합니다. 모델 호출 앞에 위치하는 모듈형 아키텍처로, 각 요청을 의미론적 유사성에 따라 어떤 계층이 처리할지 결정합니다.
작동 방식
프롬프트가 들어오면 임베딩되어 이전에 레이블이 지정된 워크로드로 훈련된 경량 KNN 분류기를 통과합니다. 의미론적 유사성에 따라 라우터는 이를 budget, balanced, premium으로 분류하고 그에 따라 호출을 전달합니다.
프롬프트 재작성이나 복잡한 규칙 트리가 없습니다 — 단지 호출 시점의 의미론적 분류만 있습니다. API 비용 절감은 주로 간단한 프롬프트가 가장 비싼 모델로 기본 설정되는 것을 방지함으로써 이루어집니다.
OpenClaw와의 통합
Orkestra는 로컬 프록시를 통해 OpenClaw 스킬로 연결되므로, 기존 파이프라인은 완전히 그대로 유지됩니다. 에이전트는 bash/curl을 통해 127.0.0.1:8765의 OpenAI 호환 엔드포인트로 호출합니다.
응답에는 _orkestra.cost 및 _orkestra.savings_percent 필드를 포함한 완전한 비용 투명성이 포함됩니다.
지원되는 제공업체 및 구성
- 지원 제공업체: Google (Gemini), Anthropic (Claude), OpenAI
- 각 제공업체 내에서 예산/균형/프리미엄 계층 간 라우팅
- 세 제공업체 모두를 아우르는 다중 제공업체 모드 지원
- 저장소 및 OpenClaw 통합은 다음에서 확인 가능: github.com/imperativelabs/orkestra
- 스킬 파일, 프록시 및 구성 예제는
integrations/openclaw/참조
📖 전체 소스 읽기: r/openclaw
👀 See Also
디스코드 자동완성을 위한 Qwen 14B 미세 조정
한 개발자가 자신의 디스코드 메시지 데이터셋을 사용해 Qwen 14B 모델을 미세 조정하여 자동 완성 도구를 만들었습니다.
울프람 테크, 이제 LLM 시스템의 기반 도구로 이용 가능
스티븐 울프램은 울프램 언어가 이제 LLM 시스템을 위한 기반 도구로 이용 가능하다고 발표하며, LLM 능력을 보완할 심층적인 계산과 정확한 지식을 제공한다고 밝혔습니다. 이 발표는 2023년 3월 최초의 ChatGPT용 울프램 플러그인이 출시된 이후 3년간의 개발을 거친 것입니다.
Kreuzberg v4.7.0은 248개 언어에 대한 코드 인텔리전스를 추가하고 마크다운 추출 기능을 개선했습니다.
Rust 기반 문서 인텔리전스 라이브러리인 Kreuzberg v4.7.0이 tree-sitter를 통해 248가지 형식의 코드 추출을 지원하며, 23가지 형식에서 구조적 F1 점수 80% 이상으로 마크다운 품질이 크게 향상되었습니다.
설치 없이 MCP 서버를 테스트할 수 있는 오픈 소스 브라우저 도구
MCP Playground라는 오픈 소스 웹 도구는 개발자가 WebContainers(WASM Node.js 런타임)를 사용하여 브라우저에서 직접 MCP 서버를 테스트할 수 있게 해줍니다. 이 도구는 백엔드 설치 없이 로컬에서 npm 기반 MCP 서버를 실행하고 URL을 통해 원격 서버에 연결할 수 있습니다.