Utiliser des LLM locaux pour le maillage interne sur un site statique

Un développeur a partagé un cas d'utilisation pratique pour les LLM locaux : créer des liens internes pour un site statique avec environ 400 pages MDX dans un sous-répertoire. Au lieu de lire manuellement toutes les pages pour trouver des connexions pertinentes, il a automatisé le processus en utilisant des modèles locaux.

Flux de travail

Le développeur a d'abord utilisé Claude Code pour écrire un script qui a créé une carte de métadonnées de tous les fichiers MDX. Cette carte contenait des détails de base comme le titre, le slug, la description et les étiquettes—mais pas le contenu complet de la page, ce qui aurait été trop gourmand en ressources.

Avec la carte créée, il a interrogé chaque page en passant un quart de la carte à la fois à un modèle Gemma3 27B, exécutant chaque page quatre fois. Le modèle devait trouver des pages pertinentes dans la carte qui pourraient être liées à la page principale interrogée.

Problème et solution

Initialement, les étiquettes dans les métadonnées étaient trop larges pour que Gemma3 les comprenne, ce qui a entraîné des liens aléatoires. Le développeur a identifié que la qualité des données était le problème.

Pour résoudre cela, il a de nouveau utilisé Claude Code pour écrire un autre script qui a passé chaque article dans le modèle pour l'étiqueter à partir d'un ensemble prédéfini. Tout en exécutant le site localement, il a vérifié que l'ensemble d'étiquettes prédéfini était respecté pour assurer la cohérence avant de mettre les changements en ligne.

Contraintes techniques

Le processus nécessitait une gestion minutieuse du matériel en raison de la génération de chaleur. Avec des températures extérieures à 41°C, l'ordinateur chauffait rapidement, forçant le développeur à arrêter et redémarrer le script plusieurs fois pour éviter la surchauffe du GPU sur son unique 3090 Ti.

Après avoir mis en place le système d'étiquetage et recréé la carte, le processus de liaison a fonctionné sans problème pour les pages testées. Le développeur prévoit de vérifier manuellement les 400 pages avant de rendre les changements publics.