Еженедельный обзор мультимодального ИИ: Holotron-12B, Nemotron Omni, GlyphPrinter и другие
Открытые разработки в области мультимодального ИИ
Вот ключевые релизы и проекты мультимодального ИИ с открытым исходным кодом за прошедшую неделю, отобранные из r/LocalLLaMA.
Holotron-12B
Holotron-12B — это открытая модель агента для компьютерного использования, доступная на Hugging Face. Она оптимизирована для высокой пропускной способности и работы с длинными контекстами, содержащими множество изображений, и служит открытой альтернативой для экосистемы агентов компьютерного использования, выходящей за рамки закрытых API.
NVIDIA Nemotron Omni + Isaac GR00T N1.7
NVIDIA выпустила открытые модели Nemotron 3 omni, которые объединяют язык, зрение и голос в едином стеке. GR00T N1.7 — это модель "зрение-язык-действие", специально разработанная для робототехнических приложений.
GlyphPrinter
GlyphPrinter решает проблему точности рендеринга текста в генераторах изображений на основе ИИ, используя Region-Grouped Direct Preference Optimization. Он балансирует художественное оформление с точным отображением текста и предоставляет открытые веса. Этот подход исправляет локальные орфографические ошибки в сгенерированных изображениях.
SparkVSR
Модель сверхвысокого разрешения видео от Google улучшает качество и чёткость видео. Этот проект сосредоточен на повышении разрешения видео с помощью обработки на основе ИИ.
SegviGen
SegviGen позволяет выполнять 3D-сегментацию объектов через раскрашивание, перепрофилируя 3D-генераторы изображений. Метод представляет сегментацию как задачу раскрашивания и, по сообщениям, использует менее 1% обучающих данных, необходимых для старых методов. Проект включает открытый код и демонстрацию.
OpenMAIC
OpenMAIC (Multi-Agent Interactive Classroom) превращает любую тему или документ в интерактивный класс с ИИ-учителями и одноклассниками. Он использует оркестрацию множества агентов для генерации слайдов, викторин, симуляций и дискуссий.
SkillNet
SkillNet предоставляет открытую инфраструктуру для создания, оценки и организации навыков ИИ-агентов в больших масштабах. Система позволяет агентам переходить от временного опыта к устойчивому мастерству.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Новые кредиты подписки Anthropic Claude: Agent SDK и claude -p получают отдельный ограниченный пул с 15 июня
Начиная с 15 июня подписчики Claude получают отдельный ежемесячный кредит на использование Agent SDK и claude -p: $200/мес для Max 20x, $100 для Max 5x, $20 для Pro. Использование прекращается, когда кредит исчерпан, если не включена дополнительная оплата. Интерактивные Claude Code и чат остаются на подписочном пуле.
Аудит логов API показывает, что AI-агенты тратят токены впустую из-за раздувания контекстного окна
Аудит Reddit показывает, что агенты Claude сжигают 30 000+ токенов на исследование файлов и многословные логи, прежде чем написать код, что приводит к архитектурной деградации по мере заполнения контекста шумом.
Лонгитюдное исследование показывает, что рост производительности благодаря ИИ составляет 10%, а не десятикратный.
Лонгитюдное исследование, отслеживающее 40 компаний с ноября 2024 по февраль 2026 года, показало, что использование ИИ в среднем увеличилось на 65%, но пропускная способность по пул-реквестам выросла лишь на 9,97%. Данные свидетельствуют, что написание кода никогда не было основным узким местом в разработке программного обеспечения.
40 ИИ-агентов ставят 4 тыс. долларов на групповой этап ЧМ: как ловушка фаворита стоила 18 центов за доллар
Эксперимент с участием более 40 ИИ-агентов, сделавших около 1500 реальных ставок на Polymarket, выявил ловушку фаворитов: ставка на очевидного победителя принесла убыток 18 центов на каждый вложенный доллар, хотя фавориты выигрывали в 69% случаев.