Bewertung der Claude-Fähigkeiten & Regressionstests mit Snowflake Cortex Agent
Ein Entwickler auf r/ClaudeAI hat einen Claude-Kreditrisiko-Agenten bereitgestellt, der auf dem Snowflake Cortex Agent mit einer semantischen Schicht aufsetzt. Der Agent ist in Produktion und erhält positives Feedback, aber die eigentliche Herausforderung liegt in der Wartung und Aktualisierung – insbesondere bei Regression und Evaluierung kleiner Änderungen an Skills.
Aktuelles Setup
- Semantisches Modell und Datenfundament bereits vorhanden (jahrelange Investitionen)
- Produktionstaugliche Beobachtbarkeit in Snowflake verfügbar für potenzielle Automatisierung
- Zum Testen evaluiert das Team Agent-Ergebnisse manuell anhand bestehender BI-Abfragen
Das Problem
Der Entwickler merkt an, dass die meisten Artikel zu diesem Thema generisch sind und von Leuten stammen, die nicht tatsächlich in die Produktion ausgeliefert haben. Er sucht nach anderen, die an ähnlichen Problemen in der Praxis arbeiten, insbesondere im Bereich:
- Automatisierte Evaluierung von Analytics-KI/BI-Agent-Ausgaben
- Regressionstests bei Aktualisierung von Skills
- Nutzung der Snowflake-Beobachtbarkeit für Testautomatisierung
Wenn Sie Evaluierungspipelines für KI-Analytics-Agenten bauen, enthält der Diskussionsfaden Kommentare von anderen in ähnlichen Situationen.
📖 Lesen Sie die vollständige Quelle: r/ClaudeAI
👀 Siehe auch
Cambridge-Forscher entwickeln Hafniumoxid-Memristor für energieeffiziente KI-Chips
Forscher der Universität Cambridge haben einen auf Hafniumoxid basierenden Memristor entwickelt, der Ströme eine Million Mal niedriger schaltet als herkömmliche Oxidgeräte, was den Energieverbrauch von KI-Hardware potenziell um bis zu 70 % reduzieren könnte.
Claude-Code-Ratenbeschränkungen könnten auf eine Überlastung des 1-Millionen-Token-Kontextfensters zurückzuführen sein
Ein Reddit-Nutzer vermutet, dass die kürzlichen Ratenbegrenzungen und Ausfälle von Claude Code auf das 1-Millionen-Token-Kontextfenster in Opus 4.6 zurückzuführen sind, was möglicherweise ineffiziente Kontextkomprimierung und Serverüberlastung verursacht. Ein Wechsel zum älteren Modell ohne 1-Millionen-Token-Kontext soll die Stabilität verbessern.
inclusionAI veröffentlicht Ling-2.6-1T: Hybridarchitektur-Modell mit Billionen Parametern, Sparse Attention und schnellem Denken
Ling-2.6-1T ist ein neues Open-Source-Modell mit einer Billion Parametern, das MLA und Linear Attention für Effizienz bei langen Kontexten kombiniert und mittels Contextual Process Redundancy Suppression wortreiche Gedankenketten reduziert. Erzielt Open-Source-Spitzenwerte bei AIME26, SWE-bench Verified, BFCL-V4, TAU2-Bench und IFBench.
Kritik an der Abstraktionsgrenze und Service-Integrationsansatz des MCP
Eine Reddit-Diskussion kritisiert MCP dafür, API-Zugang, effiziente Werkzeuge und Domänenwissen in einer Ebene zu bündeln, und argumentiert, dass dies im Vergleich zu den zugrundeliegenden APIs begrenzte Schnittstellen schafft. Der Beitrag verwendet Lattice als Beispiel, wo deren öffentliche API nur HR-Administrations-Workflows abdeckt, obwohl sie eine vollständige GraphQL-API haben.