Gemma 4 채팅 템플릿 버그: anyOf/null이 있는 도구 매개변수가 빈 유형으로 렌더링됨

레딧 사용자가 Gemma 4(gemma-4-31B-it)가 anyOf: [$ref, null] 패턴(널러블 객체 참조에 흔히 사용)을 사용하는 JSON Schema 파라미터를 파싱하지 못하는 것을 발견했습니다. 기본 채팅 템플릿은 최상위에 직접 type 필드가 있다고 가정하여, 다음과 같은 스키마:

{"anyOf": [{"$ref": "#/$defs/SomeObject"}, {"type": "null"}]}

에서 anyOf, $ref, $defs가 제거되어 프롬프트에 type: ""가 나타납니다. 이로 인해 여러 추론 엔진(llama-server 등)에서 도구 호출이 중단되며, Qwen3.5와 gpt-oss-20b는 정상 처리합니다.

진단 및 수정

사용자는 llama-server의 상세 로깅을 통해 디버깅하고, MacBook Pro에서 GPT-5.5-high(코덱스 CLI 사용)를 통해 Qwen3.5-27B-Q4_K_M과 gemma-4-31B-it-Q4_K_S의 로그를 비교했습니다. 근본 원인은 Gemma 채팅 템플릿이 모든 파라미터에 직접 type 키가 있다고 가정하기 때문으로 밝혀졌습니다. Jinja 템플릿에 작은 수정을 가해 이제 anyOf, $ref, $defs 구조를 보존합니다.

수정된 Jinja 템플릿은 Pastebin에서 확인할 수 있습니다: https://pastebin.com/p9z3BAC0

Hugging Face의 gemma-4-31B-it 저장소에 PR이 제출되었습니다.

결론

Gemma 4에서 nullable JSON Schema 참조를 사용하는 도구/함수 호출 시, 수정된 채팅 템플릿을 적용하세요. Qwen3.5 또는 gpt-oss-20b 사용자는 영향이 없습니다.