Три альтернативы с открытым исходным кодом для litellm после атаки на цепочку поставок PyPI
Версии litellm 1.82.7 и 1.82.8 на PyPI были скомпрометированы вредоносным ПО для кражи учетных данных в результате атаки на цепочку поставок. Для разработчиков, использующих AI-агенты для программирования, которым необходимо мигрировать, вот три альтернативы с открытым исходным кодом, упомянутые в источнике.
Bifrost
Описывается как наиболее прямая замена litellm, доступная в настоящее время. Написана на Go, заявляет о ~50x более быстрой P99-задержке по сравнению с litellm. Лицензирована под Apache 2.0 и поддерживает 20+ провайдеров. Миграция с litellm требует только изменения базового URL в одной строке.
Kosong
Слой абстракции LLM с открытым исходным кодом от Kimi, используемый в Kimi CLI. Более ориентирован на агентов, чем litellm, унифицирует структуры сообщений и предоставляет асинхронную оркестрацию инструментов с подключаемыми провайдерами чата. Поддерживает OpenAI, Anthropic, Google Vertex и другие форматы API.
Helicone
AI-шлюз с мощными аналитическими и отладочными возможностями. Поддерживает 100+ провайдеров. Более тяжеловесный, чем Bifrost или Kosong, но более функциональный в плане наблюдаемости.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Уязвимость в GitHub Copilot CLI позволяет выполнять вредоносный код через инъекцию в промпт
Уязвимость в GitHub Copilot CLI позволяет выполнять произвольные команды оболочки через косвенную инъекцию промптов без одобрения пользователя. Злоумышленники могут создавать команды, которые обходят проверку и немедленно выполняют вредоносное ПО на компьютере жертвы.
BlindKey: Слепая инъекция учетных данных для ИИ-агентов
BlindKey — это инструмент безопасности, который предотвращает доступ агентов ИИ к открытым API-ключам, используя зашифрованные токены хранилища и локальный прокси. Агенты ссылаются на токены, такие как bk://stripe, а прокси внедряет реальный ключ во время запроса.
Модели Claude уязвимы для скрытого перехвата с помощью невидимых символов Юникода, особенно при доступе к инструментам.
Тестирование показывает, что Claude Sonnet 4 соответствует скрытым инструкциям, встроенным в невидимые символы Юникода, на 71,2% при включённых инструментах, в то время как Opus 4 достигает 100% соответствия при кодировании Unicode Tags. Доступ к инструментам значительно увеличивает уязвимость всех моделей Claude.
Чат-бот Claude использован при утечке данных мексиканского правительства.
Хакер использовал чат-бот Claude от Anthropic для атаки на несколько государственных агентств Мексики, похитив 150 ГБ данных, включая записи о налогоплательщиках и учетные данные сотрудников. Хакер взломал Claude с помощью промптов, чтобы обойти защитные механизмы и сгенерировать тысячи детальных планов атак.