ArrowFlight テーブルエンジン

このエンジンを使用すると、Apache Arrow Flight 経由でリモートのデータセットにクエリを実行できます。

ArrowFlight テーブルエンジンを使用すると、ClickHouse は Apache Arrow Flight プロトコル経由でリモートのデータセットにクエリを実行できます。 このインテグレーションにより、ClickHouse は外部の Flight 対応サーバーから、列指向の Arrow フォーマットでデータを高性能に取得できます。

​

テーブルの作成

CREATE TABLE [IF NOT EXISTS] [db.]table_name (name1 [type1], name2 [type2], ...)
    ENGINE = ArrowFlight('host:port', 'dataset_name' [, 'username', 'password']);

エンジンパラメータ

• host:port — リモート Arrow Flight サーバー のアドレス。
• dataset_name — Flight server 上のデータセットの識別子。
• username - HTTP Basic 認証で使用するユーザー名。
• password - HTTP Basic 認証で使用するパスワード。 username と password が指定されていない場合は、認証は使用されないことを意味します (これは Arrow Flight サーバー 側で許可されている場合にのみ機能します) 。

​

使用例

この例では、リモートの Arrow Flight サーバーからデータを読み取るテーブルを作成する方法を示します。

CREATE TABLE remote_flight_data
(
    id UInt32,
    name String,
    value Float64
) ENGINE = ArrowFlight('127.0.0.1:9005', 'sample_dataset');

ローカルテーブルと同じようにリモートデータをクエリします:

SELECT * FROM remote_flight_data ORDER BY id;

┌─id─┬─name────┬─value─┐
│  1 │ foo     │ 42.1  │
│  2 │ bar     │ 13.3  │
│  3 │ baz     │ 77.0  │
└────┴─────────┴───────┘

​

注意事項

• ClickHouse で定義したスキーマは、Flight server が返すスキーマと一致している必要があります。
• このエンジンは、フェデレーテッドクエリ、データ仮想化、ストレージとコンピュートの分離に適しています。

​

関連項目

• Apache Arrow Flight SQL
• ClickHouse での Arrow フォーマットのインテグレーション