로컬에서 실행되는 Gemma 4 26B A4B용 싱글 페이지 챗봇 인터페이스

한 개발자가 Gemma 4 26B A4B를 로컬에서 실행하며 작동하도록 설계된 단일 페이지 HTML 챗봇 인터페이스를 만들었습니다. 이 구현은 LM Studio의 API에 연결하고 단일 HTML 파일 내에서 완전한 챗봇 인터페이스를 제공합니다.

기술적 구현

이 시스템은 32K 컨텍스트 윈도우로 Gemma 4 26B A4B를 로컬에서 실행하며, 초당 50-65 토큰을 처리합니다. 모델은 두 개의 GPU(7900 XT와 3060 Ti) 사이에 샤딩되어 분배됩니다.

인터페이스 기능

• 실시간 응답을 위한 완전한 스트리밍 지원
• 서식이 지정된 출력을 위한 마크다운 렌더링
• 사용 가능한 모델 간 전환을 위한 모델 선택기
• 모델 동작 미세 조정을 위한 6개의 매개변수 슬라이더
• 히스토리 분기 기능이 있는 메시지 편집
• 응답 재생성을 위한 재생성 기능
• 스트리밍 중 생성을 중단할 수 있는 중단 버튼
• 사용자 지정 지침을 위한 시스템 프롬프트 지원

개발 세부사항

개발자는 Gemma가 해결하지 못한 두 개의 DOM 버그를 수정하는 데 Claude가 사용되었다고 언급했습니다. 다른 모든 개발 작업은 Gemma 4를 사용하여 완료되었습니다. 이 프로젝트는 검토 및 사용을 위해 GitHub에서 이용할 수 있습니다.

이러한 유형의 단일 페이지 인터페이스는 복잡한 웹 애플리케이션의 오버헤드 없이 가볍고 사용자 정의 가능한 채팅 인터페이스를 원하는 로컬 LLM을 사용하는 개발자에게 특히 유용합니다. LM Studio의 API와의 통합은 Gemma뿐만 아니라 다양한 로컬 모델과 호환되도록 합니다.