Еженедельный обзор мультимодального ИИ: Holotron-12B, Nemotron Omni, GlyphPrinter и другие
Открытые разработки в области мультимодального ИИ
Вот ключевые релизы и проекты мультимодального ИИ с открытым исходным кодом за прошедшую неделю, отобранные из r/LocalLLaMA.
Holotron-12B
Holotron-12B — это открытая модель агента для компьютерного использования, доступная на Hugging Face. Она оптимизирована для высокой пропускной способности и работы с длинными контекстами, содержащими множество изображений, и служит открытой альтернативой для экосистемы агентов компьютерного использования, выходящей за рамки закрытых API.
NVIDIA Nemotron Omni + Isaac GR00T N1.7
NVIDIA выпустила открытые модели Nemotron 3 omni, которые объединяют язык, зрение и голос в едином стеке. GR00T N1.7 — это модель "зрение-язык-действие", специально разработанная для робототехнических приложений.
GlyphPrinter
GlyphPrinter решает проблему точности рендеринга текста в генераторах изображений на основе ИИ, используя Region-Grouped Direct Preference Optimization. Он балансирует художественное оформление с точным отображением текста и предоставляет открытые веса. Этот подход исправляет локальные орфографические ошибки в сгенерированных изображениях.
SparkVSR
Модель сверхвысокого разрешения видео от Google улучшает качество и чёткость видео. Этот проект сосредоточен на повышении разрешения видео с помощью обработки на основе ИИ.
SegviGen
SegviGen позволяет выполнять 3D-сегментацию объектов через раскрашивание, перепрофилируя 3D-генераторы изображений. Метод представляет сегментацию как задачу раскрашивания и, по сообщениям, использует менее 1% обучающих данных, необходимых для старых методов. Проект включает открытый код и демонстрацию.
OpenMAIC
OpenMAIC (Multi-Agent Interactive Classroom) превращает любую тему или документ в интерактивный класс с ИИ-учителями и одноклассниками. Он использует оркестрацию множества агентов для генерации слайдов, викторин, симуляций и дискуссий.
SkillNet
SkillNet предоставляет открытую инфраструктуру для создания, оценки и организации навыков ИИ-агентов в больших масштабах. Система позволяет агентам переходить от временного опыта к устойчивому мастерству.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Глубокое погружение в стоимость DeepSeek V4 Flash: объяснение коэффициента попадания в кэш и ценового соотношения
DeepSeek V4 Flash стоит 0,0066x за агентное задание по сравнению с Opus 4,7, благодаря 97% попаданий в кэш и соотношению цены чтения/записи кэша 0,02.
GitHub Claude-Code v2.1.27 Выпуск: Основные обновления и исправления
Версия Claude-Code v2.1.27 улучшает ведение журналов и исправляет несколько проблем, включая управление контекстом и истечение токенов OAuth в VSCode.
Claude Code v2.1.232: Форкинг сабагентов, поддержка GitLab и исправления безопасности
Claude Code v2.1.232 включает форкирование субагентов по умолчанию, добавляет поддержку GitLab в маркетплейсы плагинов и исправляет несколько уязвимостей безопасности, включая обходы PowerShell и символьных ссылок.
Claude Code 2.1.260: панель diff, /reload-plugins, исправления Fable 5.1
Claude Code v2.1.260 добавляет полноэкранную панель diff, /reload-plugins для headless-сессий, исправления для Fable 5.1, разрешений и другое.