Lokale LLMs für interne Verlinkung auf einer statischen Website nutzen

Ein Entwickler teilte einen praktischen Anwendungsfall für lokale LLMs: das Erstellen interner Links für eine statische Website mit etwa 400 MDX-Seiten in einem Unterverzeichnis. Anstatt alle Seiten manuell zu lesen, um relevante Verbindungen zu finden, automatisierte er den Prozess mit lokalen Modellen.

Arbeitsablauf

Der Entwickler verwendete zunächst Claude Code, um ein Skript zu schreiben, das eine Metadaten-Karte aller MDX-Dateien erstellte. Diese Karte enthielt grundlegende Details wie Titel, Slug, Beschreibung und Tags – aber nicht den vollständigen Seiteninhalt, was zu ressourcenintensiv gewesen wäre.

Nachdem die Karte erstellt war, fragte er jede Seite ab, indem er jeweils ein Viertel der Karte an ein Gemma3 27B-Modell übergab und jede Seite viermal ausführte. Das Modell wurde aufgefordert, relevante Seiten aus der Karte zu finden, die mit der Hauptseite verknüpft werden könnten, die abgefragt wurde.

Problem und Lösung

Anfangs waren die Tags in den Metadaten für Gemma3 zu allgemein, was zu zufälligen Verknüpfungen führte. Der Entwickler erkannte, dass die Datenqualität das Problem war.

Um dies zu beheben, verwendete er erneut Claude Code, um ein weiteres Skript zu schreiben, das jeden Beitrag durch das Modell laufen ließ, um ihn aus einem vordefinierten Satz von Tags zu kennzeichnen. Während er die Website lokal ausführte, überprüfte er, dass der vordefinierte Tag-Satz eingehalten wurde, um Konsistenz sicherzustellen, bevor Änderungen live geschaltet wurden.

Technische Einschränkungen

Der Prozess erforderte eine sorgfältige Hardwareverwaltung aufgrund der Wärmeentwicklung. Bei Außentemperaturen von 41°C erwärmte sich der Computer schnell, was den Entwickler zwang, das Skript mehrmals zu stoppen und neu zu starten, um eine Überhitzung der GPU auf seiner einzelnen 3090 Ti zu verhindern.

Nach der Implementierung des Tagging-Systems und der Neuerstellung der Karte funktionierte der Verknüpfungsprozess für die getesteten Seiten reibungslos. Der Entwickler plant, alle 400 Seiten manuell zu überprüfen, bevor er die Änderungen live schaltet.