Evaluación de habilidades de Claude y pruebas de regresión con Snowflake Cortex Agent
Un desarrollador en r/ClaudeAI ha desplegado un agente de riesgo crediticio basado en Claude sobre Snowflake Cortex Agent con una capa semántica. El agente está en producción y recibe comentarios positivos, pero el verdadero desafío es mantenerlo y mejorarlo — específicamente, la regresión y evaluación de cambios pequeños en las habilidades.
Configuración actual
- El modelo semántico y la base de datos ya están en su lugar (años de inversión)
- Observabilidad de nivel de producción disponible en Snowflake para posible automatización
- Para las pruebas, el equipo evalúa manualmente los resultados del agente contra consultas BI existentes
El problema
El desarrollador señala que la mayoría de los artículos sobre este tema son genéricos y escritos por personas que no han llevado algo a producción. Buscan a otros que trabajen en problemas similares en el campo, específicamente sobre:
- Evaluación automatizada de resultados de agentes de IA/BI analíticos
- Pruebas de regresión cuando se actualizan las habilidades
- Aprovechar la observabilidad de Snowflake para automatización de pruebas
Si estás construyendo pipelines de evaluación para agentes de IA analíticos, el hilo de discusión tiene comentarios de otros en situaciones similares.
📖 Leer la fuente completa: r/ClaudeAI
👀 Ver también
La Corte del Distrito Sur de Nueva York dictamina que los documentos legales generados por IA no están protegidos por privilegio
El juez Jed S. Rakoff dictaminó que 31 documentos generados utilizando la herramienta de IA Claude de Anthropic no estaban protegidos por el secreto profesional abogado-cliente ni por la doctrina del producto del trabajo, marcando la primera decisión judicial de este tipo sobre materiales legales generados por IA.
Claude Code v2.1.195: Corrección del emparejador de hooks, variable de entorno para desactivar el ratón, correcciones de dictado por voz
Claude Code v2.1.195 corrige los hook matchers con identificadores con guiones para que coincidan exactamente, añade la variable de entorno CLAUDE_CODE_DISABLE_MOUSE_CLICKS y mejora el dictado por voz y las tareas en segundo plano.
Las herramientas de detección de IA impulsan a los estudiantes a usar la IA de manera defensiva, según un estudio
Las herramientas de detección de IA en la educación están provocando que los estudiantes escriban peor intencionalmente para evitar falsos positivos, y algunos estudiantes recurren a herramientas de IA de manera defensiva para verificar si su propia escritura será marcada.
Qwen 3.6 27B Evaluado en DeepSWE: 2% de Puntuación, 70 Horas, 44k de Tokens Promedio de Salida
Qwen 3.6 27B (FP8, caché KV BF16, contexto 262k) obtuvo un 2 % en DeepSWE en 70 horas. Los tokens de salida promediaron 44k por tarea, comparable a modelos más grandes como Qwen 3.6 Plus. Se ejecutó en 1x RTX6000 Pro Blackwell a través de RunPod.