Еженедельный обзор мультимодального ИИ: Holotron-12B, Nemotron Omni, GlyphPrinter и другие
Открытые разработки в области мультимодального ИИ
Вот ключевые релизы и проекты мультимодального ИИ с открытым исходным кодом за прошедшую неделю, отобранные из r/LocalLLaMA.
Holotron-12B
Holotron-12B — это открытая модель агента для компьютерного использования, доступная на Hugging Face. Она оптимизирована для высокой пропускной способности и работы с длинными контекстами, содержащими множество изображений, и служит открытой альтернативой для экосистемы агентов компьютерного использования, выходящей за рамки закрытых API.
NVIDIA Nemotron Omni + Isaac GR00T N1.7
NVIDIA выпустила открытые модели Nemotron 3 omni, которые объединяют язык, зрение и голос в едином стеке. GR00T N1.7 — это модель "зрение-язык-действие", специально разработанная для робототехнических приложений.
GlyphPrinter
GlyphPrinter решает проблему точности рендеринга текста в генераторах изображений на основе ИИ, используя Region-Grouped Direct Preference Optimization. Он балансирует художественное оформление с точным отображением текста и предоставляет открытые веса. Этот подход исправляет локальные орфографические ошибки в сгенерированных изображениях.
SparkVSR
Модель сверхвысокого разрешения видео от Google улучшает качество и чёткость видео. Этот проект сосредоточен на повышении разрешения видео с помощью обработки на основе ИИ.
SegviGen
SegviGen позволяет выполнять 3D-сегментацию объектов через раскрашивание, перепрофилируя 3D-генераторы изображений. Метод представляет сегментацию как задачу раскрашивания и, по сообщениям, использует менее 1% обучающих данных, необходимых для старых методов. Проект включает открытый код и демонстрацию.
OpenMAIC
OpenMAIC (Multi-Agent Interactive Classroom) превращает любую тему или документ в интерактивный класс с ИИ-учителями и одноклассниками. Он использует оркестрацию множества агентов для генерации слайдов, викторин, симуляций и дискуссий.
SkillNet
SkillNet предоставляет открытую инфраструктуру для создания, оценки и организации навыков ИИ-агентов в больших масштабах. Система позволяет агентам переходить от временного опыта к устойчивому мастерству.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Google DeepMind AI Pointer: Переосмысление мыши для взаимодействия с Gemini
Google DeepMind представляет AI-управляемый указатель мыши, который использует Gemini для понимания контекста, позволяя выполнять команды, такие как указание на изображение и произнесение «Покажи маршруты», интегрированный в Chrome и Googlebook.
Изменения конфигурации с Kimi 2.5 и Opus 4.6
Пользователь обсуждает производительность Kimi 2.5 для задач по кодированию и изменениям конфигурации, используя Opus 4.6 в качестве подагента по кодированию.
Почему OpenClaw не отвечает: пользователи выражают беспокойство
Пользователи OpenClaw сталкиваются с проблемами неотвечающих агентов ИИ. Дискуссия на Reddit проливает свет на возможные причины и отзывы пользователей.
Claude Cowork объединяет слэш-команды и навыки в единую концепцию.
Claude Cowork объединил слеш-команды и навыки под единой концепцией 'навыки', убрав отдельные заголовки в меню /. Устаревшие команды продолжают работать как и прежде.