Plateforme IA de Cloudflare : Couche d'Inférence Unifiée pour les Agents IA

Ce que propose la plateforme IA de Cloudflare

Cloudflare a étendu ses capacités d'IA en une couche d'inférence unifiée conçue spécifiquement pour les agents d'IA. La plateforme répond au défi de l'évolution rapide des modèles d'IA et à la nécessité d'utiliser plusieurs modèles pour différentes tâches dans les flux de travail agentiques.

Fonctionnalités clés et mise en œuvre

L'offre principale est une API unique pour accéder à n'importe quel modèle d'IA de n'importe quel fournisseur. Pour les utilisateurs de Workers, vous pouvez appeler des modèles tiers en utilisant la même liaison AI.run() déjà utilisée pour Workers AI. Changer de fournisseur ne nécessite qu'une seule modification de code.

const response = await env.AI.run('@cf/moonshotai/kimi-k2.5', {
    prompt: 'Qu'est-ce qu'AI Gateway ?'
}, {
    metadata: {
        "teamId": "AI",
        "userId": 12345
    }
});

La plateforme donne accès à plus de 70 modèles provenant de plus de 12 fournisseurs, dont Alibaba Cloud, AssemblyAI, Bytedance, Google, InWorld, MiniMax, OpenAI, Pixverse, Recraft, Runway et Vidu. Les offres de modèles incluent désormais des modèles d'image, vidéo et parole pour créer des applications multimodales.

Gestion des coûts et prise en charge BYOM

Toutes les dépenses d'IA peuvent être gérées en un seul endroit via AI Gateway. En incluant des métadonnées personnalisées avec les requêtes, vous pouvez obtenir des ventilations de coûts par attributs comme utilisateurs gratuits vs payants, clients individuels ou flux de travail spécifiques.

Pour les besoins en modèles personnalisés, Cloudflare travaille à permettre aux utilisateurs d'apporter leurs propres modèles à Workers AI en utilisant la technologie Cog de Replicate. Cela implique de conteneuriser des modèles d'apprentissage automatique avec un fichier cog.yaml et du code d'inférence Python, en masquant les dépendances CUDA, les versions Python et le chargement des poids.

Mises à jour récentes et disponibilité

Les ajouts récents incluent des passerelles par défaut sans configuration, des nouvelles tentatives automatiques en cas d'échec en amont et des contrôles de journalisation plus granulaires. La prise en charge de l'API REST pour les utilisateurs non-Workers arrivera dans les prochaines semaines.