Plataforma de IA de Cloudflare: Capa de Inferencia Unificada para Agentes de IA

Lo que ofrece la Plataforma de IA de Cloudflare

Cloudflare ha expandido sus capacidades de IA en una capa de inferencia unificada diseñada específicamente para agentes de IA. La plataforma aborda el desafío de que los modelos de IA cambian rápidamente y la necesidad de usar múltiples modelos para diferentes tareas dentro de los flujos de trabajo de agentes.

Características clave e implementación

La oferta principal es una API para acceder a cualquier modelo de IA de cualquier proveedor. Para los usuarios de Workers, puedes llamar a modelos de terceros utilizando el mismo enlace AI.run() que ya se usa para Workers AI. Cambiar entre proveedores requiere solo un cambio de una línea de código.

const response = await env.AI.run('@cf/moonshotai/kimi-k2.5', {
    prompt: 'What is AI Gateway?'
}, {
    metadata: {
        "teamId": "AI",
        "userId": 12345
    }
});

La plataforma proporciona acceso a más de 70 modelos de más de 12 proveedores, incluidos Alibaba Cloud, AssemblyAI, Bytedance, Google, InWorld, MiniMax, OpenAI, Pixverse, Recraft, Runway y Vidu. Las ofertas de modelos ahora incluyen modelos de imagen, video y voz para construir aplicaciones multimodales.

Gestión de costos y soporte BYOM

Todos los gastos de IA se pueden gestionar en un solo lugar a través de AI Gateway. Al incluir metadatos personalizados con las solicitudes, puedes obtener desgloses de costos por atributos como usuarios gratuitos versus pagados, clientes individuales o flujos de trabajo específicos.

Para necesidades de modelos personalizados, Cloudflare está trabajando en permitir que los usuarios traigan sus propios modelos a Workers AI utilizando la tecnología Cog de Replicate. Esto implica contenerizar modelos de aprendizaje automático con un archivo cog.yaml y código de inferencia de Python, abstrayendo las dependencias de CUDA, versiones de Python y carga de pesos.

Actualizaciones recientes y disponibilidad

Las adiciones recientes incluyen puertas de enlace predeterminadas sin configuración, reintentos automáticos en fallos ascendentes y controles de registro más granulares. El soporte de API REST para usuarios que no son de Workers llegará en las próximas semanas.