Engram Memory SDK: Графовая память для ИИ-агентов с локальными моделями
SDK графовой памяти для локальных ИИ-моделей
Engram Memory SDK — это система графовой памяти с открытым исходным кодом, разработанная для ИИ-агентов, которая работает с локальными моделями через интеграцию с LiteLLM. Основная архитектура разделяет обработку данных и их извлечение: LLM требуется только один раз во время обработки для извлечения сущностей и связей, в то время как извлечение работает через чистый векторный поиск, обход графа и оценку без необходимости дополнительных вызовов LLM.
Технические детали
SDK построен на асинхронном Python и использует Neo4j в качестве базы данных. Согласно источнику, в среднем требуется ~735 токенов на операцию обработки, а задержка при извлечении составляет 95 мс. Система включает функции самореструктуризации памяти с фоновыми процессами затухания и кластеризации.
Установка и настройка
Установка проста:
pip install engram-memory-sdkДля настройки требуется файл .env со следующими переменными:
LLM_MODEL=ollama/llama3 # или любая локальная модель, поддерживаемая LiteLLM
NEO4J_URI=bolt://localhost:7687Система поддерживает любые модели через LiteLLM, включая локальные развертывания через Ollama, vLLM и text-generation-webui. Ключевое преимущество — экономическая эффективность: при использовании небольшой локальной модели для извлечения, операции извлечения данных буквально не требуют затрат, поскольку не потребляют токены LLM.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Unsloth Studio обеспечивает двукратное ускорение обучения с сокращением использования видеопамяти на 70% для локальной тонкой настройки ИИ.
Unsloth Studio предоставляет инструменты для обучения и тонкой настройки языковых моделей на локальном оборудовании с ускорением обучения в 2 раза и снижением использования VRAM на 70%. Поддерживает экспорт моделей в формат GGUF для использования с Ollama и позволяет реализовать полные локальные рабочие процессы ИИ-кодирования на оборудовании с 24 ГБ, таком как RTX 4090.
EvalShift: CLI с открытым исходным кодом для обнаружения регрессий LLM при миграции моделей
EvalShift — это CLI-инструмент на Python с открытым исходным кодом (лицензия MIT), который сравнивает выходные данные исходной и целевой LLM по запросам, агентам и рабочим процессам вызова инструментов, генерируя локальный HTML-отчет о регрессии.
Markdown Manager: Простой редактор Markdown для macOS
Markdown Manager — это бесплатное и открытое приложение для macOS, предназначенное для управления файлами Markdown и обладающее возможностями конвертации и предварительного просмотра документов.
monk: Навык, заставляющий замолчать агентское повествование для экономии контекста и токенов
Пользователь Reddit опубликовал 'monk' — навык, который убирает повествование, преамбулы и постамбулы из ответов агента Claude, утверждая, что это сокращает выходные токены примерно на 54% за один раунд и увеличивает ёмкость контекста на 29–39% при 100 раундах.