Валидация паттерна саморазвивающихся навыков: результаты 5-раундового эксперимента
Экспериментальная установка и результаты
Разработчик провёл 5-раундный эксперимент для проверки шаблона проектирования Self-Evolving Skill для Claude Code, который был представлен ранее. Эксперимент использовал базу данных MySQL с 29 таблицами и 590 МБ данных из системы управления умным зданием.
Раунды следовали такой прогрессии: исследование структуры → запросы данных → обнаружение правил → сложное исследование → повторная проверка.
Ключевые выводы
- Уровень отклонения Five-Gate: 63,6% — большинство взаимодействий не привело к изменению знаний
- Инкрементальная сходимость: +75 → +46 → +12 → +21 → +1
- Самоисправление Gate 2: Шаблон обнаружил и исправил 2 ошибочных правила, которые Skill записал в предыдущих раундах
- Раунд 5: Ноль шагов исследования, прямое повторное использование шаблона
- Точность: 100% — ни одно ошибочное знание не сохранилось в процессе
Неожиданным выводом стало то, что проблемы использования инструментов были зафиксированы как ценный побочный продукт — вопросы, которые разработчик не планировал, но которые были выявлены Five Gates.
У разработчика продолжается второй эксперимент на более крупной базе данных телекоммуникационных биллингов. Полные данные с различимыми снимками по раундам доступны на GitHub.
📖 Read the full source: r/ClaudeAI
👀 Смотрите также
Агентское убежище: встроенная в macOS песочница для локальных агентов ИИ-кодирования
Agent Safehouse — это нативное для macOS средство изоляции, которое предотвращает доступ локальных ИИ-агентов к файлам за пределами директории вашего проекта с использованием принудительных мер на уровне ядра. Это единый скрипт для командной оболочки без зависимостей, работающий с Claude Code, Codex, OpenCode, Amp, Gemini CLI, Aider, Goose, Auggie, Pi, Cursor Agent, Cline, Kilo, Code Droid и другими агентами.
ВОСТОРГ: Локальный Оркестратор Использует Несколько Сессий ChatGPT в Качестве Скоординированных Агентов
DELIGHT — это локальный оркестратор, который одновременно запускает несколько скрытых сессий ChatGPT в браузере, координируя их как команду агентов, без необходимости в API-ключах или GPU-ресурсах. Он подключается к OpenClaw в качестве слоя действий для внесения изменений в реальные файлы и запуска тестов.
Signet: Открытый слой памяти для ИИ-агентов программирования достигает 80% F1 на LoCoMo
Signet — это система памяти с открытым исходным кодом для ИИ-агентов программирования, которая достигает 80% F1 на бенчмарке LoCoMo, по сравнению с 41% у стандартного RAG. Она извлекает воспоминания после каждой сессии и внедряет релевантный контекст перед промптами, работая локально с SQLite.
HyperResearch: открытый навык для Claude Code превращает его в агента глубокого исследования
HyperResearch превращает Claude Code в 16-этапный конвейер глубокого исследования с постоянным хранилищем знаний, проверкой фактов и аутентифицированными веб-сессиями. Open-source, установка одной командой, превосходит OpenAI и Google на DeepResearch Bench.