TextGen (text-generation-webui)가 포터블 빌드로 네이티브 데스크톱 앱이 되다

TextGen(구 text-generation-webui, oobabooga로도 알려짐)이 네이티브 데스크톱 앱 버전을 출시했습니다. 2022년 12월부터 개발 중인 이 프로젝트는 이제 휴대용 빌드를 제공합니다. 다운로드하고 압축을 푼 다음 textgen을 더블클릭하기만 하면 됩니다. 설치나 추출된 폴더 외부의 파일이 필요 없습니다. 모든 채팅 기록과 설정은 번들로 제공되는 user_data 폴더에 저장됩니다.

주요 기능

• 프라이버시: 외부 요청이 전혀 없습니다. LM Studio와 달리 OS, CPU, 앱 버전, 백엔드 선택 등에 대한 정보를 외부로 전송하지 않습니다.
• ik_llama.cpp 빌드: LM Studio와 Ollama가 사용하는 일반 llama.cpp보다 더 나은 정확도를 위해 IQ4_KS, IQ5_KS와 같은 맞춤형 양자화 타입을 제공합니다.
• 내장 웹 검색: ddgs Python 라이브러리를 사용합니다. 두 가지 모드: web_search 도구를 호출하는 도구 호출 모드(Qwen 3.6 및 Gemma 4에서 작동) 또는 검색 결과를 텍스트 첨부 파일로 가져오는 체크박스 모드.
• 도구 호출: 단일 파일 .py 도구(쉬운 사용자 정의 함수), HTTP MCP 서버, stdio MCP 서버를 지원합니다. 도구 호출 전에 승인/거부 확인을 요구하는 옵션도 있습니다. 가이드 보기.
• 커스텀 캐릭터: 지시 수행 대화와 함께 캐주얼 채팅을 위한 캐릭터를 만들 수 있습니다.
• API 호환성: OpenAI 및 Anthropic 스펙과 호환되는 API. Claude Code와 함께 사용 가능: ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude.
• PDF 추출: 정확한 텍스트 추출을 위해 PyMuPDF를 사용합니다.
• 웹 페이지 가져오기: trafilatura를 사용하여 탐색/보일러플레이트를 제거, 에이전트 루프에서 토큰을 절약합니다.
• Jinja2 템플릿: Python Jinja2를 통해 채팅 템플릿을 렌더링하여 llama.cpp의 C++ jinja 재구현에서 발생하는 충돌을 방지합니다.

사용 가능한 빌드

CUDA, Vulkan, CPU 전용, Mac(Apple Silicon 및 Intel), ROCm. 모두 휴대용입니다.

라이선스: AGPLv3. 소스: https://github.com/oobabooga/textgen