Три альтернативы с открытым исходным кодом для litellm после атаки на цепочку поставок PyPI
Версии litellm 1.82.7 и 1.82.8 на PyPI были скомпрометированы вредоносным ПО для кражи учетных данных в результате атаки на цепочку поставок. Для разработчиков, использующих AI-агенты для программирования, которым необходимо мигрировать, вот три альтернативы с открытым исходным кодом, упомянутые в источнике.
Bifrost
Описывается как наиболее прямая замена litellm, доступная в настоящее время. Написана на Go, заявляет о ~50x более быстрой P99-задержке по сравнению с litellm. Лицензирована под Apache 2.0 и поддерживает 20+ провайдеров. Миграция с litellm требует только изменения базового URL в одной строке.
Kosong
Слой абстракции LLM с открытым исходным кодом от Kimi, используемый в Kimi CLI. Более ориентирован на агентов, чем litellm, унифицирует структуры сообщений и предоставляет асинхронную оркестрацию инструментов с подключаемыми провайдерами чата. Поддерживает OpenAI, Anthropic, Google Vertex и другие форматы API.
Helicone
AI-шлюз с мощными аналитическими и отладочными возможностями. Поддерживает 100+ провайдеров. Более тяжеловесный, чем Bifrost или Kosong, но более функциональный в плане наблюдаемости.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Представляем SkillFence: новый монитор выполнения, который отслеживает, что навыки на самом деле делают.
SkillFence предлагает прорыв в мониторинге действий AI-агентов, отвечая на необходимость прозрачности и безопасности в средах, управляемых ИИ. Узнайте, как этот инновационный инструмент может усилить контроль над автономными процессами.
Уязвимость в Snowflake Cortex Code CLI позволяла обходить песочницу и выполнять вредоносный код
Уязвимость в Snowflake Cortex Code CLI версии 1.0.25 и более ранних позволяла выполнять произвольные команды без одобрения человека через обход подстановки процессов, что позволяло устанавливать вредоносное ПО и выходить из песочницы с помощью косвенной инъекции промптов.
Выпущен справочник по управлению атакующей поверхностью с открытым исходным кодом
Разработчик опубликовал открытый чит-лист по управлению атакуемой поверхностью, который начинался как личные заметки и превратился в структурированное руководство. Проект сосредоточен на практической реализации ASM, а не на теоретических концепциях.
Модель безопасности NanoClaw для ИИ-агентов: изоляция контейнеров и минимальный код
NanoClaw реализует архитектуру безопасности, в которой каждый ИИ-агент работает в собственном эфемерном контейнере с непривилегированным доступом пользователя, изолированными файловыми системами и явными списками разрешений для монтирования. Кодовая база намеренно минимальна — около одного процесса и нескольких файлов, полагаясь на Agent SDK от Anthropic вместо воссоздания функциональности.