Feldbericht: KI-Forschungspartner fällt bei Peer-Review durch, was zur Kodifizierung der Methodik führt

Ein Geologe/Geophysiker, der Claude Opus für komplexe, mehrwöchige Projekte mit mehreren Dateien nutzt, berichtete über einen Fehlschlag bei der KI-gestützten Forschungsanalyse. Der Nutzer bat Claude, eine kritische Bewertung einer von der Offshore-Windindustrie finanzierten Studie vorzunehmen, die hohe Vogelvermeidungsraten an Windturbinen berichtete. Claude erstellte eine selbstbewusste sechspunkte Analyse mit echten Zitaten und flüssiger Darstellung.

Als der Nutzer die Quellen überprüfte, erwiesen sich vier Punkte als nicht haltbar. Die Zitate waren echt, konnten aber nicht das Gewicht tragen, das ihnen zugewiesen wurde – kontextuelle Literatur wurde als direkte Widerlegung aufgebauscht. Die Studie hatte weiterhin Einschränkungen: kleine Stichprobe, nur Ergebnisse an Land, keine Peer-Review. Die Vermeidungsraten waren wahrscheinlich echt für die getesteten Bedingungen, aber die Frage blieb, ob sie für nächtliche Zugvögel an beleuchteten Offshore-Turbinen gelten.

Der Nutzer musste die Beweise von Grund auf neu aufbauen, um eine Bewertung zu erstellen, die tatsächlich standhält. Anschließend kodifizierte er die Methodik, damit zukünftige Bewertungen von Anfang an auf solidem Boden stehen. Der Nutzer setzt Claude weiterhin aktiv für Forschungsanalysen ein und merkt an, dass solche Systeme dies nachhaltig machen.

Der Nutzer stellte zwei Ressourcen bereit: einen Blogbeitrag mit Details zur Erfahrung und ein GitHub-Repository mit der kodifizierten Methodik. Das GitHub-Repository enthält einen Systemprompt für Forschungsprojekte, der operative Disziplin für KI-gestützte Analysen festlegt.