Lokale LLMs für interne Verlinkung auf einer statischen Website nutzen
Ein Entwickler teilte einen praktischen Anwendungsfall für lokale LLMs: das Erstellen interner Links für eine statische Website mit etwa 400 MDX-Seiten in einem Unterverzeichnis. Anstatt alle Seiten manuell zu lesen, um relevante Verbindungen zu finden, automatisierte er den Prozess mit lokalen Modellen.
Arbeitsablauf
Der Entwickler verwendete zunächst Claude Code, um ein Skript zu schreiben, das eine Metadaten-Karte aller MDX-Dateien erstellte. Diese Karte enthielt grundlegende Details wie Titel, Slug, Beschreibung und Tags – aber nicht den vollständigen Seiteninhalt, was zu ressourcenintensiv gewesen wäre.
Nachdem die Karte erstellt war, fragte er jede Seite ab, indem er jeweils ein Viertel der Karte an ein Gemma3 27B-Modell übergab und jede Seite viermal ausführte. Das Modell wurde aufgefordert, relevante Seiten aus der Karte zu finden, die mit der Hauptseite verknüpft werden könnten, die abgefragt wurde.
Problem und Lösung
Anfangs waren die Tags in den Metadaten für Gemma3 zu allgemein, was zu zufälligen Verknüpfungen führte. Der Entwickler erkannte, dass die Datenqualität das Problem war.
Um dies zu beheben, verwendete er erneut Claude Code, um ein weiteres Skript zu schreiben, das jeden Beitrag durch das Modell laufen ließ, um ihn aus einem vordefinierten Satz von Tags zu kennzeichnen. Während er die Website lokal ausführte, überprüfte er, dass der vordefinierte Tag-Satz eingehalten wurde, um Konsistenz sicherzustellen, bevor Änderungen live geschaltet wurden.
Technische Einschränkungen
Der Prozess erforderte eine sorgfältige Hardwareverwaltung aufgrund der Wärmeentwicklung. Bei Außentemperaturen von 41°C erwärmte sich der Computer schnell, was den Entwickler zwang, das Skript mehrmals zu stoppen und neu zu starten, um eine Überhitzung der GPU auf seiner einzelnen 3090 Ti zu verhindern.
Nach der Implementierung des Tagging-Systems und der Neuerstellung der Karte funktionierte der Verknüpfungsprozess für die getesteten Seiten reibungslos. Der Entwickler plant, alle 400 Seiten manuell zu überprüfen, bevor er die Änderungen live schaltet.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Ausführen von Gemma 4 als lokaler autonomer Agent mit Claude Code auf 16 GB VRAM
Ein Entwickler hat Googles Gemma 4 31B-Modell erfolgreich als lokalen autonomen Coding-Agent konfiguriert, indem er es über Claude Code CLI v2.1.92 zum Laufen brachte. Dabei überwand er VRAM-Beschränkungen und Parsing-Probleme mithilfe von llama.cpp b8672 und einem benutzerdefinierten Python-Routing.
Automatisierungsgedächtnis vor Betriebsgedächtnis: Warum kleine Geschäftsagenten Erinnerung brauchen
Der wahre Wert von KI-Agenten für kleine Unternehmen liegt nicht in der Automatisierung, sondern im operativen Gedächtnis. Ein Whitepaper von McPhersonAI argumentiert, dass Agenten sich wie disziplinierte Bediener verhalten sollten: Standards merken, Abweichungen erkennen, Kontext bewahren und Relevantes hervorheben.
KI-gestützter E-Commerce-Shop erholt sich von 3-Uhr-Nachts-Absturz ohne menschliches Eingreifen
Ein von KI betriebener E-Commerce-Shop erlebte eine unbehandelte Ausnahme, die die Bestellpipeline um 3 Uhr morgens lahmlegte. Das System erkannte den Fehler autonom, identifizierte die Ursache, versuchte eine Reparatur, überprüfte die Wiederherstellung und nahm den Betrieb vor dem Morgen wieder auf.
Entwicklung eines Slay the Spire 2-Agenten mit lokalen LLMs: Erkenntnisse und offene Probleme
Ein Entwickler hat einen Agenten erstellt, der Slay the Spire 2 mithilfe von Qwen3.5-27B über KoboldCPP/Ollama spielt. Dabei wurden etwa 10 Sekunden pro Aktion und eine Erfolgsquote von etwa 88 % erreicht, dank Techniken wie zustandsbasierter Tool-Routing und Single-Tool-Modus, wobei offene Probleme wie Prompt-Konsistenz und Tool-Aufrufzuverlässigkeit identifiziert wurden.