DuckDBのQuackプロトコルが複数の同時書き込みを可能にするクライアントサーバーを実現

DuckDBはQuackリモートプロトコルをリリースしました。これにより、DuckDBインスタンスがクライアント-サーバー構成で通信できるようになり、複数の同時書き込みをサポートします。このプロトコルはシンプルかつ高速で、HTTPのような実績のある技術を基盤としています。

DuckDBのインプロセスアーキテクチャはシングルプロセスのデータサイエンスワークロードに優れていますが、複数プロセスから同じデータベースファイルへの同時書き込みが課題でした。従来の回避策としては、カスタムRPCソリューション、Arrow Flight SQL、MotherDuckの独自プロトコル、あるいはPostgreSQLへの切り替え（オプションでpg_duckdb経由でDuckDBを実行）などがありました。QuackはDuckDB公式のファーストパーティソリューションです。

動作の仕組み

両方のDuckDBインスタンスにQuack拡張機能が必要です。現在はcore_nightl（ナイトリービルド）で利用可能です。プロトコルは対称的で、任意のDuckDBインスタンスがクライアントにもサーバーにもなれます。サーバーはHTTPエンドポイントを公開し、クライアントが接続します。特別なサーバーバイナリは不要で、拡張機能をロードしたDuckDBプロセスが動作しているだけです。

主な設計上の特徴:

• プロトコルはHTTP上に構築されており、ファイアウォールに優しく、標準ツールでデバッグ可能です。
• バルク操作と低レイテンシの小規模トランザクションをサポートします。
• レガシーな制約がなく、Arrow Flight SQLなどから学んだ知見を活かして2026年にゼロから設計されました。

ユースケース

• 複数のテレメトリ収集プロセスが同じDuckDBデータベースに挿入する場合。
• ダッシュボードがファイルロックの問題なく同じテーブルに同時にクエリを実行する場合。
• 外部ミドルウェアなしで従来のクライアント-サーバー環境にDuckDBを導入する場合。

このリリースは、これまでインプロセスであることを強調してきたDuckDBにとって転換点です。チームはユーザーの需要が原動力であると認めています:「私たちはDuckDBをユニバーサルなデータラングリングツールと見なしています。そのためにインプロセス機能に加えてクライアント-サーバープロトコルを提供することになっても構いません。」

現状: 拡張機能はナイトリービルドで利用可能です。安定版リリースは数ヶ月以内に予定されています。

プロトコルの内部詳細、完全な研究論文の参照、ステップバイステップのセットアップガイドについては、元の発表をお読みください。