Оценка навыков Claude и регрессионное тестирование с помощью Snowflake Cortex Agent
Разработчик на r/ClaudeAI развернул агента кредитного риска на базе Claude, работающего поверх Snowflake Cortex Agent с семантическим слоем. Агент работает в продакшене и получает положительные отзывы, но настоящая задача — поддержка и обновление, особенно регрессионное тестирование и оценка небольших изменений навыков.
Текущая настройка
- Семантическая модель и база данных уже готовы (годы инвестиций)
- Доступна observability продакшен-уровня в Snowflake для потенциальной автоматизации
- Для тестирования команда вручную оценивает результаты агента по сравнению с существующими BI-запросами
Проблема
Разработчик отмечает, что большинство статей по этой теме носят общий характер и написаны людьми, которые на самом деле не выводили решения в продакшен. Он ищет других, кто сталкивался с похожими проблемами на практике, особенно в вопросах:
- Автоматизированная оценка результатов AI/BI-агентов аналитики
- Регрессионное тестирование при обновлении навыков
- Использование observability Snowflake для автоматизации тестирования
Если вы создаете пайплайны оценки для AI-агентов аналитики, в обсуждении есть комментарии от других, кто находится в похожих ситуациях.
📖 Читать полный источник: r/ClaudeAI
👀 Смотрите также
Сообщается, что Nvidia разрабатывает открытую платформу NemoClaw для конкуренции с OpenClaw.
Согласно последним сообщениям, Nvidia работает над проектом с открытым исходным кодом под названием NemoClaw, который призван напрямую конкурировать с OpenClaw в области инструментов для разработки ИИ. Ожидается, что проект будет сосредоточен на улучшении производительности, масштабируемости и гибкости для разработчиков, сохраняя при этом совместимость с современными рабочими процессами ИИ.
Ubuntu Linux планирует интеграцию функций ИИ в течение следующего года, начиная с локального вывода
Canonical объявляет о многолетней AI-стратегии для Ubuntu, сосредоточенной на локальном выведении, агентных рабочих процессах и контекстно-зависимых возможностях ОС. Функции будут внедряться на протяжении 2026 года.
Выпуск Claude Code v2.1.85: Улучшения MCP, фильтры хуков и исправления ошибок
Claude Code v2.1.85 добавляет переменные окружения для MCP headersHelper, условные поля if для хуков, чтобы уменьшить создание процессов, а также исправляет ошибки /compact, проблемы включения/отключения плагинов и проблемы с клавиатурой терминала в Ghostty, Kitty и WezTerm.
Новые кредиты подписки Anthropic Claude: Agent SDK и claude -p получают отдельный ограниченный пул с 15 июня
Начиная с 15 июня подписчики Claude получают отдельный ежемесячный кредит на использование Agent SDK и claude -p: $200/мес для Max 20x, $100 для Max 5x, $20 для Pro. Использование прекращается, когда кредит исчерпан, если не включена дополнительная оплата. Интерактивные Claude Code и чат остаются на подписочном пуле.