Gemma 4 Chat-Vorlagenfehler: Tool-Parameter mit anyOf/null werden als leerer Typ dargestellt

Ein Reddit-Benutzer entdeckte, dass Gemma 4 (gemma-4-31B-it) Tool-Parameter, die das JSON-Schema-Muster anyOf: [$ref, null] verwenden – ein gängiges Muster für nullable Objektreferenzen – nicht parsen kann. Die Standard-Chat-Vorlage geht von einem direkten type-Feld auf der obersten Ebene aus, sodass Schemata wie dieses:

{"anyOf": [{"$ref": "#/$defs/SomeObject"}, {"type": "null"}]}

von anyOf, $ref und $defs befreit werden, was im Prompt zu type: "" führt. Dies unterbricht die Tool-Nutzung auf mehreren Inferenz-Engines (llama-server, andere), während Qwen3.5 und gpt-oss-20b es korrekt handhaben.

Diagnose und Behebung

Der Benutzer debuggte mit ausführlicher Protokollierung von llama-server und ließ GPT-5.5-high (via codex CLI) die Logs zwischen Qwen3.5-27B-Q4_K_M und gemma-4-31B-it-Q4_K_S auf einem MacBook Pro vergleichen. Die Ursache wurde auf die Annahme der Gemma-Chat-Vorlage zurückgeführt, dass jeder Parameter einen direkten type-Schlüssel hat. Eine kleine Änderung an der Jinja-Vorlage bewahrt nun die Strukturen anyOf, $ref und $defs.

Die korrigierte Jinja-Vorlage ist auf Pastebin verfügbar: https://pastebin.com/p9z3BAC0

Ein PR wurde an das Hugging Face Repository für gemma-4-31B-it übermittelt.

Fazit

Wenn Sie Gemma 4 für Tool-/Funktionsaufrufe mit nullable JSON-Schema-Referenzen verwenden, wenden Sie die korrigierte Chat-Vorlage an. Benutzer von Qwen3.5 oder gpt-oss-20b sind nicht betroffen.