주간 멀티모달 AI 뉴스: 홀로트론-12B, 네모트론 옴니, 글리프프린터 등

오픈 멀티모달 AI 발전

지난 주 r/LocalLLaMA에서 선별한 주요 오픈소스 멀티모달 AI 출시 및 프로젝트입니다.

Holotron-12B

Holotron-12B는 Hugging Face에서 이용 가능한 오픈 컴퓨터 사용 에이전트 모델입니다. 처리량과 긴 다중 이미지 컨텍스트에 최적화되어 있으며, 폐쇄형 API를 넘어 컴퓨터 사용 에이전트 생태계를 위한 오픈 대안으로 기능합니다.

NVIDIA Nemotron Omni + Isaac GR00T N1.7

NVIDIA는 언어, 비전, 음성을 하나의 스택으로 통합한 오픈 Nemotron 3 omni 모델을 출시했습니다. GR00T N1.7은 로봇 공학 응용 프로그램을 위해 특별히 설계된 비전-언어-행동 모델입니다.

GlyphPrinter

GlyphPrinter는 Region-Grouped Direct Preference Optimization을 사용하여 AI 이미지 생성기의 텍스트 렌더링 정확도를 해결합니다. 예술적 스타일링과 정확한 텍스트 렌더링의 균형을 맞추며 오픈 가중치를 제공합니다. 이 접근 방식은 생성된 이미지의 지역화된 맞춤법 오류를 수정합니다.

SparkVSR

Google의 비디오 초해상도 모델은 비디오 품질과 선명도를 향상시킵니다. 이 프로젝트는 AI 처리를 통해 비디오 해상도를 개선하는 데 중점을 둡니다.

SegviGen

SegviGen은 3D 이미지 생성기를 재활용하여 색상화를 통해 3D 객체 세분화를 가능하게 합니다. 이 방법은 세분화를 색상화 작업으로 구성하며, 이전 방법에 필요한 훈련 데이터의 1% 미만을 사용한다고 보고됩니다. 이 프로젝트에는 오픈 코드와 데모가 포함되어 있습니다.

OpenMAIC

OpenMAIC(다중 에이전트 대화형 교실)는 모든 주제나 문서를 AI 교사와 급우가 있는 대화형 교실로 전환합니다. 다중 에이전트 오케스트레이션을 사용하여 슬라이드, 퀴즈, 시뮬레이션 및 토론을 생성합니다.

SkillNet

SkillNet는 대규모로 AI 에이전트 기술을 생성, 평가 및 조직하기 위한 오픈 인프라를 제공합니다. 이 시스템은 에이전트가 일시적인 경험에서 지속적인 숙달로 전환할 수 있도록 합니다.