로컬에서 실행되는 Gemma 4 26B A4B용 싱글 페이지 챗봇 인터페이스
한 개발자가 Gemma 4 26B A4B를 로컬에서 실행하며 작동하도록 설계된 단일 페이지 HTML 챗봇 인터페이스를 만들었습니다. 이 구현은 LM Studio의 API에 연결하고 단일 HTML 파일 내에서 완전한 챗봇 인터페이스를 제공합니다.
기술적 구현
이 시스템은 32K 컨텍스트 윈도우로 Gemma 4 26B A4B를 로컬에서 실행하며, 초당 50-65 토큰을 처리합니다. 모델은 두 개의 GPU(7900 XT와 3060 Ti) 사이에 샤딩되어 분배됩니다.
인터페이스 기능
- 실시간 응답을 위한 완전한 스트리밍 지원
- 서식이 지정된 출력을 위한 마크다운 렌더링
- 사용 가능한 모델 간 전환을 위한 모델 선택기
- 모델 동작 미세 조정을 위한 6개의 매개변수 슬라이더
- 히스토리 분기 기능이 있는 메시지 편집
- 응답 재생성을 위한 재생성 기능
- 스트리밍 중 생성을 중단할 수 있는 중단 버튼
- 사용자 지정 지침을 위한 시스템 프롬프트 지원
개발 세부사항
개발자는 Gemma가 해결하지 못한 두 개의 DOM 버그를 수정하는 데 Claude가 사용되었다고 언급했습니다. 다른 모든 개발 작업은 Gemma 4를 사용하여 완료되었습니다. 이 프로젝트는 검토 및 사용을 위해 GitHub에서 이용할 수 있습니다.
이러한 유형의 단일 페이지 인터페이스는 복잡한 웹 애플리케이션의 오버헤드 없이 가볍고 사용자 정의 가능한 채팅 인터페이스를 원하는 로컬 LLM을 사용하는 개발자에게 특히 유용합니다. LM Studio의 API와의 통합은 Gemma뿐만 아니라 다양한 로컬 모델과 호환되도록 합니다.
📖 Read the full source: r/LocalLLaMA
👀 See Also
단일 호출 MCP 파이프라인이 Claude Code 토큰 사용량을 74% 감소시킵니다
한 개발자가 컨텍스트 엔진(MCP 서버)을 구축한 경험을 공유했습니다. 이 엔진은 Claude Code에 코드베이스의 의존성 그래프를 제공하여 전체 파일 대신 관련 코드만 읽을 수 있게 합니다. 이 도구는 원본 파일 대신 의존성 그래프와 스켈레톤을 제공함으로써 토큰 사용량을 크게 줄입니다.
InsForge: AI 코딩 에이전트를 위한 오픈소스 백엔드 플랫폼
InsForge는 AI 코딩 에이전트에 관리형 데이터베이스, 인증, 스토리지, 컴퓨트, 호스팅, AI 게이트웨이를 제공하는 오픈소스 백엔드 플랫폼(Apache 2.0)으로, CLI 또는 MCP를 통해 제어할 수 있습니다.
Atoo Studio: 다중 프로젝트 Claude 코드 워크플로우 관리를 위한 오픈소스 작업 공간
Atoo Studio는 여러 프로젝트에서 Claude Code를 사용할 때 발생하는 터미널과 탭 혼란을 해결하기 위해 구축된 오픈소스 작업 공간입니다. Git 브랜치와 같은 세션 포킹을 도입하며 Claude Code, Codex CLI, Gemini CLI 간 연속 작업을 가능하게 합니다.
Clawdbot이 어떻게 6개의 AI 에이전트를 프로덕션-안정적인 작업 큐로 조율하는가
Clawdbot 팀은 AI 운영 매장을 운영하는 6개의 AI 에이전트(디자인, 코드, 마케팅, 운영)를 조율하기 위한 작업 큐 시스템을 구축했습니다. 이 시스템은 원자적 작업 클레임, 상태 머신, 백오프를 통한 재시도 로직, 작업 체인, 하트비트 추적, 데몬 오케스트레이터 기능을 갖추고 있습니다.