DuckDBs Quack Protocol ermöglicht Client-Server mit mehreren gleichzeitigen Schreibern

DuckDB hat das Quack Remote-Protokoll veröffentlicht, das DuckDB-Instanzen die Kommunikation in einer Client-Server-Umgebung mit Unterstützung für mehrere gleichzeitige Schreiber ermöglicht. Das Protokoll ist einfach und schnell konzipiert und baut auf bewährten Technologien wie HTTP auf.

Während die In-Process-Architektur von DuckDB für Single-Process-Data-Science-Workloads hervorragend geeignet ist, waren gleichzeitige Schreibvorgänge in dieselbe Datenbankdatei aus mehreren Prozessen ein Schmerzpunkt. Typische Workarounds umfassten individuelle RPC-Lösungen, Arrow Flight SQL, MotherDucks proprietäres Protokoll oder sogar den Wechsel zu PostgreSQL (optional mit DuckDB über pg_duckdb). Quack ist DuckDBs offizielle hauseigene Lösung.

Wie es funktioniert

Beide DuckDB-Instanzen benötigen die Quack-Erweiterung, die derzeit im core_nightl (nächtlichen) Build verfügbar ist. Das Protokoll ist symmetrisch: Jede DuckDB-Instanz kann als Client oder Server agieren. Der Server stellt einen HTTP-Endpunkt bereit; der Client verbindet sich damit. Es ist kein spezielles Server-Binärprogramm erforderlich – nur ein laufender DuckDB-Prozess mit geladener Erweiterung.

Wichtige Designentscheidungen:

• Das Protokoll basiert auf HTTP, was es firewall-freundlich und mit Standardwerkzeugen debuggbar macht.
• Unterstützt Massenoperationen und kleine Transaktionen mit niedriger Latenz.
• Keine Legacy-Einschränkungen – von Grund auf im Jahr 2026 entworfen, mit Erkenntnissen aus Arrow Flight SQL und anderen.

Anwendungsfälle

• Mehrere Telemetrie-Sammelprozesse, die in dieselbe DuckDB-Datenbank schreiben.
• Ein Dashboard, das gleichzeitig dieselben Tabellen abfragt, ohne Dateisperrprobleme.
• Einsatz von DuckDB in traditionellen Client-Server-Bereitstellungen ohne externe Middleware.

Diese Veröffentlichung markiert eine Wende für DuckDB, das zuvor seine In-Process-Natur betonte. Das Team räumt ein, dass der Benutzerbedarf der Treiber ist: „Wir sehen DuckDB als universelles Datenaufbereitungswerkzeug. Wenn das bedeutet, zusätzlich zu den In-Process-Fähigkeiten ein Client-Server-Protokoll zu haben – in Ordnung.“

Aktueller Status: Die Erweiterung ist im nächtlichen Build verfügbar. Eine stabile Version wird in den kommenden Monaten erwartet.

Für einen tiefen Einblick in die Protokollinterna, einschließlich der vollständigen Referenz des Forschungspapiers und einer Schritt-für-Schritt-Einrichtungsanleitung, lesen Sie die ursprüngliche Ankündigung.