Plataforma de IA da Cloudflare: Camada de Inferência Unificada para Agentes de IA

O que a Plataforma de IA da Cloudflare Oferece

A Cloudflare expandiu suas capacidades de IA em uma camada de inferência unificada projetada especificamente para agentes de IA. A plataforma aborda o desafio dos modelos de IA mudarem rapidamente e a necessidade de usar vários modelos para diferentes tarefas dentro dos fluxos de trabalho agentivos.

Principais Recursos e Implementação

A oferta principal é uma API para acessar qualquer modelo de IA de qualquer provedor. Para usuários do Workers, você pode chamar modelos de terceiros usando a mesma vinculação AI.run() já usada para o Workers AI. Alternar entre provedores requer apenas uma alteração de código de uma linha.

const response = await env.AI.run('@cf/moonshotai/kimi-k2.5', {
    prompt: 'O que é o AI Gateway?'
}, {
    metadata: {
        "teamId": "AI",
        "userId": 12345
    }
});

A plataforma fornece acesso a mais de 70 modelos de mais de 12 provedores, incluindo Alibaba Cloud, AssemblyAI, Bytedance, Google, InWorld, MiniMax, OpenAI, Pixverse, Recraft, Runway e Vidu. As ofertas de modelos agora incluem modelos de imagem, vídeo e fala para construir aplicações multimodais.

Gerenciamento de Custos e Suporte a BYOM

Todos os gastos com IA podem ser gerenciados em um só lugar através do AI Gateway. Ao incluir metadados personalizados com as solicitações, você pode obter detalhamentos de custos por atributos como usuários gratuitos versus pagos, clientes individuais ou fluxos de trabalho específicos.

Para necessidades de modelos personalizados, a Cloudflare está trabalhando para permitir que os usuários tragam seus próprios modelos para o Workers AI usando a tecnologia Cog da Replicate. Isso envolve conteinerizar modelos de aprendizado de máquina com um arquivo cog.yaml e código de inferência em Python, abstraindo dependências CUDA, versões Python e carregamento de pesos.

Atualizações Recentes e Disponibilidade

Adições recentes incluem gateways padrão sem configuração, tentativas automáticas em falhas upstream e controles de registro mais granulares. O suporte à API REST para usuários não-Workers está chegando nas próximas semanas.