Платформа ИИ Cloudflare: Единый уровень вывода для ИИ-агентов

Что предлагает AI-платформа Cloudflare

Cloudflare расширил свои AI-возможности до унифицированного уровня вывода, специально разработанного для AI-агентов. Платформа решает проблему быстрого изменения AI-моделей и необходимости использования нескольких моделей для различных задач в рамках агентских рабочих процессов.

Ключевые возможности и реализация

Основное предложение — это один API для доступа к любой AI-модели от любого провайдера. Для пользователей Workers вы можете вызывать сторонние модели, используя тот же биндинг AI.run(), который уже используется для Workers AI. Переключение между провайдерами требует изменения всего одной строки кода.

const response = await env.AI.run('@cf/moonshotai/kimi-k2.5', {
    prompt: 'Что такое AI Gateway?'
}, {
    metadata: {
        "teamId": "AI",
        "userId": 12345
    }
});

Платформа предоставляет доступ к более чем 70 моделям от 12+ провайдеров, включая Alibaba Cloud, AssemblyAI, Bytedance, Google, InWorld, MiniMax, OpenAI, Pixverse, Recraft, Runway и Vidu. Предложения моделей теперь включают изображения, видео и речевые модели для создания мультимодальных приложений.

Управление затратами и поддержка BYOM

Все расходы на AI можно управлять в одном месте через AI Gateway. Включая пользовательские метаданные в запросы, вы можете получать разбивку затрат по атрибутам, таким как бесплатные vs. платные пользователи, отдельные клиенты или конкретные рабочие процессы.

Для пользовательских моделей Cloudflare работает над тем, чтобы позволить пользователям приносить свои собственные модели в Workers AI, используя технологию Cog от Replicate. Это включает контейнеризацию машинного обучения с файлом cog.yaml и кодом вывода на Python, абстрагируя зависимости CUDA, версии Python и загрузку весов.

Последние обновления и доступность

Недавние добавления включают шлюзы по умолчанию без настройки, автоматические повторные попытки при сбоях вышестоящих систем и более детальный контроль логирования. Поддержка REST API для пользователей, не использующих Workers, появится в ближайшие недели.