Bin ich OpenAI-kompatibel: Tool & Dokumentation für einheitliche API-Signaturen

Ein Reddit-Nutzer hat ein Tool und eine Dokumentationsseite namens 'Am I OpenAI compatible' veröffentlicht, die auflistet, welche großen Open-Source-KI-Projekte die API-Signaturen von OpenAI einhalten. Das Projekt entstand aufgrund von Inkonsistenzen zwischen Engines wie vLLM und llama.cpp, die denselben Endpunkt oft unterschiedlich implementieren.

Wichtige Details

Das Tool katalogisiert sowohl offizielle als auch inoffizielle API-Signaturen für jedes Projekt. Bei Modellen, bei denen Lücken in der OpenAI-Kompatibilität bestehen, wird 'ht-compatibility' als geerbter Standard eingeführt. Der Entwickler plant, optionale Anthropic-kompatible Signaturen und andere Erweiterungen hinzuzufügen.

Zwei Ressourcen sind verfügbar:

• GitHub-Repository: heiervang-technologies/am-i-openai-compatible
• Dokumentationsseite: ReadTheDocs

Der Entwickler weist darauf hin, dass das Tool nützlich ist, um LLM- und andere KI-Endpunkte in Apps einzubinden oder Proxy-/Middleware-Schichten zu erstellen. Entwickler, die eigene API-Schnittstellen erstellen, profitieren ebenfalls von den dokumentierten Signaturen, was die Integration in Agenten erleichtert.

Für wen es gedacht ist

Entwickler, die mit mehreren Open-Source-Inferenz-Engines arbeiten und eine zuverlässige Referenz für API-Kompatibilität benötigen, oder alle, die Middleware- oder Agentensysteme bauen, die mehrere Backends nutzen.