LM Studio 플러그인은 비전 기능을 갖춘 LLM을 위한 웹 이미지 분석 기능을 추가합니다.

한 개발자가 LM Studio용 플러그인을 만들어 시각 기능을 갖춘 LLM이 웹에서 이미지를 가져와 애플리케이션 내에서 직접 분석할 수 있도록 했습니다. 이 플러그인은 MCP/API나 등록이 필요 없으며, LM Studio 웹사이트에서 한 번의 클릭으로 설치할 수 있는 간단한 스크립트를 사용합니다.

주요 기능

주요 플러그인인 "analyze-images"는 LLM이 다음을 수행할 수 있도록 합니다:

• 분석을 위해 웹에서 이미지 가져오기
• 작업에 따라 도구를 자동으로 체이닝하기
• 가져온 이미지를 채팅 임베딩용 작은 썸네일 파일로 변환하여 혼란을 피하기
• 가능한 경우 분석을 위해 고해상도 이미지 사용하기
• 응답에 이미지를 임베딩하거나 사용자가 여러 이미지를 요청할 때 마크다운 테이블 갤러리 사용하기

개발자는 기존 플러그인도 업데이트했습니다:

• Duck-Duck-Go 플러그인이 이제 이미지와 함께 작동합니다
• Visit Website 플러그인이 이제 이미지와 함께 작동합니다

요구사항 및 설정

이 플러그인을 사용하려면 다음이 필요합니다:

• 시각 기능을 갖춘 모델 (Qwen 3.5 9b 또는 27b 권장)
• 플러그인을 지원하는 LM Studio

개발자는 잘 작동한 특정 Qwen 3.5 설정을 공유했습니다:

Temperature: 1
Top K sampling: 20
Repeat Penalty: 1
Presence Penalty: 1.9
Top P sampling: 0.95
Min P sampling: 0

Presence Penalty 설정을 1.9로 하면 반복 문제를 해결하고 루프를 방지하는 데 도움이 된다고 언급했습니다.

사용된 시스템 프롬프트는 다음과 같습니다: "당신은 유능하고 사려 깊으며 정확한 어시스턴트입니다. 항상 진실하고, 미묘한 차이를 이해하며, 통찰력 있고 효율적인 응답을 우선시하되, 사용자의 요구와 선호도에 맞게 응답을 맞춤화하세요. 질문에 답하기 전에 연구하세요: 추론과 도구 호출을 모두 사용하여 적절한 결론을 종합하세요."

플러그인 링크

• Analyze Images 플러그인: https://lmstudio.ai/vadimfedenko/analyze-images
• Duck-Duck-Go 재작업: https://lmstudio.ai/vadimfedenko/duck-duck-go-reworked
• Visit Website 재작업: https://lmstudio.ai/vadimfedenko/visit-website-reworked

개발자는 도구 호출 오류를 해결하는 데 도움이 된 Jinja Prompt Template을 Pastebin에 공유했습니다.