llm-hasher: Lokale PII-Erkennung und Tokenisierung für hybride LLM-Workflows

llm-hasher behebt eine spezifische Sicherheitslücke in hybriden LLM-Workflows: Wenn Sie lokale LLMs ausführen, aber dennoch externe Dienste wie OpenAI, Claude oder Gemini für bestimmte Aufgaben nutzen, verlässt Ihre PII Ihre Infrastruktur weiterhin im Klartext. Dieses Tool führt die PII-Erkennung vollständig lokal mit Ollama durch, sodass während der Erkennungsphase keine Daten Ihre Systeme verlassen.

Funktionsweise

Der Prozess folgt drei Schritten: PII lokal erkennen, vor externen LLM-Aufrufen tokenisieren und dann die Originalwerte nach der Verarbeitung wiederherstellen. Dies verhindert, dass sensible Daten Drittanbietern zugänglich gemacht werden.

Erkennungsansatz

Das Erkennungssystem verwendet einen hybriden Ansatz:

• Regex-Muster für strukturierte Datentypen: Kreditkarten, IBAN-Nummern, E-Mail-Adressen und IPv4-Adressen
• Ollama mit llama3.2:3b (standardmäßig) für kontextbezogene Erkennung von unstrukturierter PII: Namen, Adressen, nationale Ausweise, Pässe und Geburtsdaten

Technische Umsetzung

Zuordnungen zwischen Original-PII und Token werden in einem AES-256-GCM-verschlüsselten SQLite-Tresor gespeichert. Die Bereitstellung wird mit Docker Compose vereinfacht, das sowohl Ollama als auch den llm-hasher-Dienst mit einem einzigen Befehl startet.