Cloudflare의 AI 플랫폼: AI 에이전트를 위한 통합 추론 레이어

Cloudflare AI 플랫폼이 제공하는 것

Cloudflare는 AI 에이전트를 위해 특별히 설계된 통합 추론 계층으로 AI 기능을 확장했습니다. 이 플랫폼은 AI 모델이 빠르게 변화하고 에이전트 워크플로우 내에서 다양한 작업에 여러 모델을 사용해야 하는 과제를 해결합니다.

주요 기능 및 구현

핵심 제공 사항은 모든 제공업체의 AI 모델에 접근할 수 있는 하나의 API입니다. Workers 사용자의 경우, Workers AI에 이미 사용 중인 동일한 AI.run() 바인딩을 사용하여 타사 모델을 호출할 수 있습니다. 제공업체 간 전환은 한 줄의 코드 변경만 필요합니다.

const response = await env.AI.run('@cf/moonshotai/kimi-k2.5', {
    prompt: 'AI Gateway란 무엇인가요?'
}, {
    metadata: {
        "teamId": "AI",
        "userId": 12345
    }
});

이 플랫폼은 Alibaba Cloud, AssemblyAI, Bytedance, Google, InWorld, MiniMax, OpenAI, Pixverse, Recraft, Runway, Vidu를 포함한 12개 이상의 제공업체에서 70개 이상의 모델에 대한 접근을 제공합니다. 모델 제공에는 이제 멀티모달 애플리케이션 구축을 위한 이미지, 비디오, 음성 모델이 포함됩니다.

비용 관리 및 BYOM 지원

모든 AI 지출은 AI Gateway를 통해 한 곳에서 관리할 수 있습니다. 요청에 사용자 정의 메타데이터를 포함하면 무료 대 유료 사용자, 개별 고객 또는 특정 워크플로우와 같은 속성별로 비용 내역을 확인할 수 있습니다.

사용자 정의 모델 요구 사항의 경우, Cloudflare는 Replicate의 Cog 기술을 사용하여 사용자가 자신의 모델을 Workers AI로 가져올 수 있도록 작업 중입니다. 이는 cog.yaml 파일과 Python 추론 코드로 머신러닝 모델을 컨테이너화하여 CUDA 종속성, Python 버전 및 가중치 로딩을 추상화하는 것을 포함합니다.

최근 업데이트 및 가용성

최근 추가 사항에는 설정 없이 사용 가능한 기본 게이트웨이, 업스트림 장애 시 자동 재시도, 더 세분화된 로깅 제어가 포함됩니다. 비-Workers 사용자를 위한 REST API 지원은 몇 주 내에 제공될 예정입니다.