週次マルチモーダルAIまとめ：Holotron-12B、Nemotron Omni、GlyphPrinterなど

オープンなマルチモーダルAIの進展

以下は、r/LocalLLaMAから厳選した過去1週間の主要なオープンソースマルチモーダルAIのリリースとプロジェクトです。

Holotron-12B

Holotron-12Bは、Hugging Faceで利用可能なオープンなコンピュータ利用エージェントモデルです。スループットと長いマルチ画像コンテキストに最適化されており、クローズドAPIを超えたコンピュータ利用エージェントエコシステムのオープンな代替手段として機能します。

NVIDIA Nemotron Omni + Isaac GR00T N1.7

NVIDIAは、言語、視覚、音声を1つのスタックに統合したオープンなNemotron 3 omniモデルをリリースしました。GR00T N1.7は、ロボティクスアプリケーション向けに特別に設計された視覚言語行動モデルです。

GlyphPrinter

GlyphPrinter

GlyphPrinterは、Region-Grouped Direct Preference Optimizationを使用して、AI画像生成器におけるテキストレンダリングの正確性に対処します。芸術的なスタイリングと正確なテキストレンダリングのバランスを取り、オープンな重みを提供します。このアプローチは、生成された画像における局所的なスペルエラーを修正します。

SparkVSR

Googleのビデオ超解像モデルは、ビデオの品質と明瞭さを向上させます。このプロジェクトは、AI処理によるビデオ解像度の改善に焦点を当てています。

SegviGen

SegviGenは、3D画像生成器を再利用することで、色付けによる3Dオブジェクトセグメンテーションを可能にします。この方法はセグメンテーションを色付けタスクとして捉え、従来の方法に必要なトレーニングデータの1%未満しか使用しないと報告されています。このプロジェクトにはオープンなコードとデモが含まれています。

OpenMAIC

OpenMAIC（マルチエージェントインタラクティブクラスルーム）は、あらゆるトピックやドキュメントをAI教師とクラスメートを備えたインタラクティブな教室に変えます。マルチエージェントオーケストレーションを使用して、スライド、クイズ、シミュレーション、ディスカッションを生成します。

SkillNet

SkillNetは、AIエージェントのスキルを大規模に作成、評価、整理するためのオープンなインフラストラクチャを提供します。このシステムにより、エージェントは一時的な経験から持続的な熟練へと移行することができます。