Три альтернативы с открытым исходным кодом для litellm после атаки на цепочку поставок PyPI
Версии litellm 1.82.7 и 1.82.8 на PyPI были скомпрометированы вредоносным ПО для кражи учетных данных в результате атаки на цепочку поставок. Для разработчиков, использующих AI-агенты для программирования, которым необходимо мигрировать, вот три альтернативы с открытым исходным кодом, упомянутые в источнике.
Bifrost
Описывается как наиболее прямая замена litellm, доступная в настоящее время. Написана на Go, заявляет о ~50x более быстрой P99-задержке по сравнению с litellm. Лицензирована под Apache 2.0 и поддерживает 20+ провайдеров. Миграция с litellm требует только изменения базового URL в одной строке.
Kosong
Слой абстракции LLM с открытым исходным кодом от Kimi, используемый в Kimi CLI. Более ориентирован на агентов, чем litellm, унифицирует структуры сообщений и предоставляет асинхронную оркестрацию инструментов с подключаемыми провайдерами чата. Поддерживает OpenAI, Anthropic, Google Vertex и другие форматы API.
Helicone
AI-шлюз с мощными аналитическими и отладочными возможностями. Поддерживает 100+ провайдеров. Более тяжеловесный, чем Bifrost или Kosong, но более функциональный в плане наблюдаемости.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Исследование: Невидимые символы Unicode могут перехватывать управление агентами LLM через доступ к инструментам
Исследование проверило, следуют ли большие языковые модели (LLM) инструкциям, скрытым в невидимых символах Юникода, встроенных в обычный текст, используя две схемы кодирования для пяти моделей и 8 308 оцененных ответов. Ключевой вывод: доступ к инструментам повышает выполнение инструкций с менее 17% до 98-100%, при этом модели пишут скрипты на Python для декодирования скрытых символов.
Контрольный список безопасности для приложений, созданных с помощью Claude AI
Разработчик делится чек-листом распространенных проблем безопасности и эксплуатации, обнаруженных в приложениях, созданных с помощью Claude Code, включая ограничение скорости запросов, недостатки аутентификации, проблемы с масштабированием баз данных и уязвимости обработки ввода.
API AviationWeather.gov содержит попытку внедрения промпта 'Stop Claude' (инъекция промпта).
Пользователь сообщает, что API AviationWeather.gov правительства США возвращает текст 'Stop Claude' в своих ответах при доступе через Claude CoWork, что вызывает уведомление системы безопасности о попытках инъекции промптов.
Кейлгард: Открытый сканер безопасности для навыков OpenClaw
Caelguard — это сканер с лицензией MIT, работающий локально, который обнаруживает проблемы безопасности в навыках OpenClaw, включая инъекцию промптов, сбор учетных данных и обфусцированные полезные нагрузки. Исследования показывают, что примерно 20% опубликованных навыков содержат тревожные паттерны.