LM Studio 플러그인: LLM 비전 기능으로 웹 이미지 분석

한 개발자가 LM Studio용 플러그인을 만들어 시각 기능을 갖춘 LLM이 웹에서 이미지를 가져와 애플리케이션 내에서 직접 분석할 수 있도록 했습니다. 이 플러그인은 MCP/API나 등록이 필요 없으며, LM Studio 웹사이트에서 한 번의 클릭으로 설치할 수 있는 간단한 스크립트를 사용합니다.

주요 기능

주요 플러그인인 "analyze-images"는 LLM이 다음을 수행할 수 있도록 합니다:

분석을 위해 웹에서 이미지 가져오기
작업에 따라 도구를 자동으로 체이닝하기
가져온 이미지를 채팅 임베딩용 작은 썸네일 파일로 변환하여 혼란을 피하기
가능한 경우 분석을 위해 고해상도 이미지 사용하기
응답에 이미지를 임베딩하거나 사용자가 여러 이미지를 요청할 때 마크다운 테이블 갤러리 사용하기

개발자는 기존 플러그인도 업데이트했습니다:

Duck-Duck-Go 플러그인이 이제 이미지와 함께 작동합니다
Visit Website 플러그인이 이제 이미지와 함께 작동합니다

요구사항 및 설정

이 플러그인을 사용하려면 다음이 필요합니다:

시각 기능을 갖춘 모델 (Qwen 3.5 9b 또는 27b 권장)
플러그인을 지원하는 LM Studio

개발자는 잘 작동한 특정 Qwen 3.5 설정을 공유했습니다:

Temperature: 1
Top K sampling: 20
Repeat Penalty: 1
Presence Penalty: 1.9
Top P sampling: 0.95
Min P sampling: 0

Presence Penalty 설정을 1.9로 하면 반복 문제를 해결하고 루프를 방지하는 데 도움이 된다고 언급했습니다.

사용된 시스템 프롬프트는 다음과 같습니다: "당신은 유능하고 사려 깊으며 정확한 어시스턴트입니다. 항상 진실하고, 미묘한 차이를 이해하며, 통찰력 있고 효율적인 응답을 우선시하되, 사용자의 요구와 선호도에 맞게 응답을 맞춤화하세요. 질문에 답하기 전에 연구하세요: 추론과 도구 호출을 모두 사용하여 적절한 결론을 종합하세요."