CloudflareのAIプラットフォーム：AIエージェント向け統合推論レイヤー

CloudflareのAIプラットフォームが提供するもの

Cloudflareは、AIエージェント向けに特別に設計された統合推論レイヤーとしてAI機能を拡張しました。このプラットフォームは、AIモデルが急速に変化する課題や、エージェントワークフロー内で異なるタスクに複数のモデルを使用する必要性に対処します。

主な機能と実装

中核となる提供内容は、あらゆるプロバイダーのAIモデルにアクセスするための単一APIです。Workersユーザーは、Workers AIで既に使用されている同じAI.run()バインディングを使用して、サードパーティモデルを呼び出すことができます。プロバイダー間の切り替えには、わずか1行のコード変更のみが必要です。

const response = await env.AI.run('@cf/moonshotai/kimi-k2.5', {
    prompt: 'What is AI Gateway?'
}, {
    metadata: {
        "teamId": "AI",
        "userId": 12345
    }
});

このプラットフォームは、Alibaba Cloud、AssemblyAI、Bytedance、Google、InWorld、MiniMax、OpenAI、Pixverse、Recraft、Runway、Viduを含む12以上のプロバイダーから70以上のモデルへのアクセスを提供します。モデルの提供内容には、マルチモーダルアプリケーション構築のための画像、動画、音声モデルが含まれるようになりました。

コスト管理とBYOMサポート

すべてのAI支出は、AI Gatewayを通じて一箇所で管理できます。リクエストにカスタムメタデータを含めることで、無料ユーザー対有料ユーザー、個々の顧客、特定のワークフローなどの属性によるコスト内訳を取得できます。

カスタムモデルのニーズに対して、CloudflareはReplicateのCogテクノロジーを使用してユーザーが独自のモデルをWorkers AIに持ち込めるように取り組んでいます。これには、cog.yamlファイルとPython推論コードを使用した機械学習モデルのコンテナ化、CUDA依存関係、Pythonバージョン、重みのロードの抽象化が含まれます。

最近の更新と利用可能性

最近の追加機能には、ゼロセットアップのデフォルトゲートウェイ、上流障害時の自動リトライ、より詳細なロギング制御が含まれます。非Workersユーザー向けのREST APIサポートは、今後数週間で提供される予定です。