Drei Open-Source-Alternativen zu litellm nach dem PyPI-Supply-Chain-Angriff
Die litellm-Versionen 1.82.7 und 1.82.8 auf PyPI wurden in einem Supply-Chain-Angriff mit Malware zum Stehlen von Zugangsdaten kompromittiert. Für Entwickler, die KI-Coding-Agenten nutzen und migrieren müssen, hier drei Open-Source-Alternativen aus der Quelle.
Bifrost
Wird als derzeit direktester litellm-Ersatz beschrieben. In Go geschrieben, verspricht es ~50x schnellere P99-Latenz als litellm. Lizenziert unter Apache 2.0 und unterstützt 20+ Anbieter. Migration von litellm erfordert nur eine einzeilige Basis-URL-Änderung.
Kosong
Eine LLM-Abstraktionsschicht, die von Kimi als Open-Source veröffentlicht und im Kimi CLI verwendet wird. Agentenorientierter als litellm, vereinheitlicht es Nachrichtenstrukturen und bietet asynchrone Tool-Orchestrierung mit austauschbaren Chat-Anbietern. Unterstützt OpenAI, Anthropic, Google Vertex und andere API-Formate.
Helicone
Ein AI-Gateway mit starken Analyse- und Debugging-Fähigkeiten. Unterstützt 100+ Anbieter. Schwergewichtiger als Bifrost oder Kosong, aber funktionsreicher auf der Beobachtbarkeitsseite.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Lieferkettenangriff nutzt unsichtbare Unicode-Zeichen zur Umgehung der Erkennung
Forscher entdeckten 151 schädliche Pakete, die vom 3. bis 9. März auf GitHub hochgeladen wurden und unsichtbare Unicode-Zeichen verwendeten, um bösartigen Code zu verbergen. Der Angriff zielt auf GitHub-, NPM- und Open-VSX-Repositorys mit Paketen ab, die legitim erscheinen, aber versteckte Nutzlasten enthalten.
Warum interne RAG- und Doc-Chat-Tools Sicherheitsaudits nicht bestehen
Community diskutiert reale Sicherheits- und Compliance-Blocker, die RAG-Tools daran hindern, die Produktion zu erreichen.
13 Wörter auf Reddit können KI-Suche manipulieren: Cornell-Forschung
Eine Cornell-Studie zeigt, dass ein 13-Wörter-Schnipsel auf Reddit oder Wikipedia KI-Suchagenten zuverlässig manipulieren kann. Die Hälfte aller KI-Zitate stammt von UGC-Seiten, was es Marken leicht macht, Werbeinhalte einzuschleusen.
Open-Source-Spielplatz für Red-Teaming von KI-Agenten mit veröffentlichten Exploits
Fabraix hat eine Live-Umgebung als Open Source veröffentlicht, um KI-Agenten-Abwehrmaßnahmen durch adversarische Herausforderungen zu testen. Jede Herausforderung setzt einen Live-Agenten mit echten Werkzeugen und veröffentlichten Systemprompts ein, wobei gewinnende Gesprächsprotokolle und Schutzmaßnahmen-Logs öffentlich dokumentiert werden.