ETH-Zürich-Studie: Übermäßiger Kontext verringert die Leistung von KI-Code-Agenten

Eine aktuelle Studie der ETH Zürich liefert konkrete Beweise dafür, dass mehr Kontext nicht unbedingt zu besserer Leistung bei KI-Coding-Agenten führt. Die Forschung testete vier Coding-Agenten an 138 echten GitHub-Aufgaben mit klaren quantitativen Ergebnissen.

Wichtige Erkenntnisse

Die Studie zeigte, dass LLM-generierte Kontextdateien die Erfolgsquote um 2-3 % senkten, während die Inferenzkosten um 20 % stiegen. Selbst von Menschen geschriebene Kontextdateien verbesserten den Erfolg nur um etwa 4 %, bei gleichzeitig erheblichen Kostensteigerungen.

Das Kernproblem

Die Forscher entdeckten, dass Agenten jede Anweisung in Kontextdateien als etwas behandelten, das ausgeführt werden muss. In einem Experiment verbesserte sich die Leistung wieder, als sie Repositories auf nur die generierte Kontextdatei reduzierten. Dies zeigt, dass Agenten Schwierigkeiten haben, zwischen wesentlichen Anweisungen und irrelevanten historischen Informationen zu unterscheiden.

Praktische Empfehlungen

Die Studie empfiehlt, nur Informationen einzubeziehen, die der Agent wirklich nicht selbst entdecken kann, und den Kontext minimal zu halten. Dies ist besonders relevant für Kommunikationsdaten wie E-Mail-Threads, die wie Kontext aussehen mögen, aber oft als Anweisungen interpretiert werden, obwohl es sich tatsächlich um historisches Rauschen handelt.

Context-API-Lösung

Um dieses Problem anzugehen, entwickelten die Forscher eine Context-API (iGPT), die sich auf die E-Mail-Verarbeitung konzentriert. Die API:

• Rekonstruiert E-Mail-Threads in Konversationsgraphen, bevor der Kontext das Modell erreicht
• Dedupliziert zitierte Texte
• Erkennt, wer was und wann gesagt hat
• Gibt strukturiertes JSON statt Rohtext zurück

Dieser Ansatz stellt sicher, dass Agenten gefilterten Kontext statt gesamter Konversationsverläufe erhalten, was ihre Fähigkeit verbessert, sich auf relevante Informationen zu konzentrieren.