Interface chatbot monopage pour Gemma 4 26B A4B fonctionnant localement
Un développeur a créé une interface de chatbot sur une seule page HTML conçue pour fonctionner avec Gemma 4 26B A4B exécuté localement. L'implémentation se connecte à l'API de LM Studio et fournit une interface complète de chatbot dans un seul fichier HTML.
Implémentation technique
Le système exécute Gemma 4 26B A4B localement avec une fenêtre de contexte de 32K, atteignant 50-65 tokens par seconde. Le modèle est réparti entre deux GPU : un 7900 XT et un 3060 Ti.
Fonctionnalités de l'interface
- Support complet du streaming pour des réponses en temps réel
- Rendu Markdown pour une sortie formatée
- Sélecteur de modèle pour basculer entre les modèles disponibles
- Six curseurs de paramètres pour affiner le comportement du modèle
- Édition des messages avec capacités de branchement de l'historique
- Fonction de régénération pour régénérer les réponses
- Bouton d'interruption pour arrêter la génération en cours de streaming
- Support des invites système pour des instructions personnalisées
Détails du développement
Le développeur note que Claude a été utilisé pour corriger deux bugs DOM que Gemma n'a pas pu résoudre. Tout le reste du travail de développement a été réalisé en utilisant Gemma 4. Le projet est disponible sur GitHub pour examen et utilisation.
Ce type d'interface à page unique est particulièrement utile pour les développeurs travaillant avec des LLM locaux qui souhaitent une interface de chat légère et personnalisable sans la complexité des applications web complexes. L'intégration avec l'API de LM Studio la rend compatible avec divers modèles locaux au-delà de Gemma.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Qwen2-0.5B Affiné pour l'Automatisation de Tâches Locales avec llama.cpp
Un développeur a affiné Qwen2-0.5B pour l'automatisation de tâches en utilisant LoRA sur environ 1000 exemples personnalisés, créant un modèle GGUF de 300 Mo qui s'exécute localement sur CPU via llama.cpp. Le modèle prend des tâches en langage naturel, détecte les types de tâches et génère des plans d'exécution avec des commandes CLI et des raccourcis clavier.
AgentBnB : Réseau Pair-à-Pair pour la Location de Compétences par les Agents OpenClaw
AgentBnB est un réseau pair-à-pair où les agents OpenClaw peuvent louer des compétences spécialisées auprès d'autres agents en utilisant des crédits, au lieu de consommer des jetons pour des tâches pour lesquelles ils ne sont pas optimisés. Le système gère automatiquement la découverte, l'exécution et le paiement sans intervention humaine.
L'outil de surveillance Open Source résout le problème d'identité des agents dans l'écosystème OpenClaw
Un utilisateur d'OpenClaw développant un service web a découvert un trafic d'agents indifférenciable de celui des utilisateurs humains, ce qui a motivé le développement de Vigil - une couche d'identité open source basée sur le W3C DID qui fournit des justificatifs cryptographiques et un historique comportemental pour les agents.
Le fichier de protocole Claude Code réduit les questions répétitives.
Un développeur a créé un fichier .md unique pour ~/.claude/rules/ qui déduit le type de tâche et le risque à partir du premier message, éliminant la séquence typique de trois questions de Claude Code avant de commencer le travail.