ODBC Dictionary ソース

ClickHouse で ODBC 接続を Dictionary ソースとして設定します。

この方法を使うと、ODBC ドライバが利用できる任意のデータベースに接続できます。

設定例:

DDL

SOURCE(ODBC(
    db 'DatabaseName'
    table 'SchemaName.TableName'
    connection_string 'DSN=some_parameters'
    invalidate_query 'SQL_QUERY'
    query 'SELECT id, value_1, value_2 FROM db_name.table_name'
))

設定ファイル

<source>
    <odbc>
        <db>DatabaseName</db>
        <table>ShemaName.TableName</table>
        <connection_string>DSN=some_parameters</connection_string>
        <invalidate_query>SQL_QUERY</invalidate_query>
        <query>SELECT id, value_1, value_2 FROM ShemaName.TableName</query>
    </odbc>
</source>

設定項目:

Setting	Description
db	データベース名。データベース名が <connection_string> パラメータで設定されている場合は省略できます。
table	テーブル名。スキーマがある場合はスキーマ名も含めます。
connection_string	接続文字列。
invalidate_query	Dictionary の状態を確認するためのクエリ。任意です。詳しくは LIFETIME を使用した Dictionary データの更新 を参照してください。
background_reconnect	接続に失敗した場合、バックグラウンドでレプリカに再接続します。任意です。
query	カスタムクエリ。任意です。

table フィールドと query フィールドは同時に使用できません。また、table または query のいずれか一方を必ず指定する必要があります。

ClickHouse は ODBC ドライバから受け取った引用符を使用し、ドライバに送るクエリ内のすべての設定値を引用符で囲みます。そのため、テーブル名はデータベース内の実際の大文字・小文字に合わせて設定する必要があります。

Oracle 使用時にエンコーディングの問題が発生する場合は、該当する よくある質問 を参照してください。

​

ODBC Dictionary 機能における既知の脆弱性

ODBC ドライバの接続パラメータ Servername を使ってデータベースに接続する場合、この値は置き換え可能です。その場合、odbc.ini の USERNAME と PASSWORD の値がリモートサーバーに送信され、漏えいするおそれがあります。

安全でない使用例

PostgreSQL 用に unixODBC を設定します。/etc/odbc.ini の内容:

[gregtest]
Driver = /usr/lib/psqlodbca.so
Servername = localhost
PORT = 5432
DATABASE = test_db
#OPTION = 3
USERNAME = test
PASSWORD = test

次のようなクエリを実行すると

SELECT * FROM odbc('DSN=gregtest;Servername=some-server.com', 'test_db');

ODBC ドライバは、odbc.ini にある USERNAME と PASSWORD の値を some-server.com に送信します。

​

PostgreSQL への接続例

Ubuntu OS。

unixODBC と PostgreSQL 用 ODBC ドライバをインストールします。

$ sudo apt-get install -y unixodbc odbcinst odbc-postgresql

/etc/odbc.ini (ClickHouse を実行するユーザーでログインしている場合は ~/.odbc.ini) を設定します:

    [DEFAULT]
    Driver = myconnection

    [myconnection]
    Description         = PostgreSQL connection to my_db
    Driver              = PostgreSQL Unicode
    Database            = my_db
    Servername          = 127.0.0.1
    UserName            = username
    Password            = password
    Port                = 5432
    Protocol            = 9.3
    ReadOnly            = No
    RowVersioning       = No
    ShowSystemTables    = No
    ConnSettings        =

ClickHouse での Dictionary の設定:

DDL

CREATE DICTIONARY table_name (
    id UInt64,
    some_column UInt64 DEFAULT 0
)
PRIMARY KEY id
SOURCE(ODBC(connection_string 'DSN=myconnection' table 'postgresql_table'))
LAYOUT(HASHED())
LIFETIME(MIN 300 MAX 360)

設定ファイル

<clickhouse>
    <dictionary>
        <name>table_name</name>
        <source>
            <odbc>
                <!-- connection_string では次のパラメータを指定できます: -->
                <!-- DSN=myconnection;UID=username;PWD=password;HOST=127.0.0.1;PORT=5432;DATABASE=my_db -->
                <connection_string>DSN=myconnection</connection_string>
                <table>postgresql_table</table>
            </odbc>
        </source>
        <lifetime>
            <min>300</min>
            <max>360</max>
        </lifetime>
        <layout>
            <hashed/>
        </layout>
        <structure>
            <id>
                <name>id</name>
            </id>
            <attribute>
                <name>some_column</name>
                <type>UInt64</type>
                <null_value>0</null_value>
            </attribute>
        </structure>
    </dictionary>
</clickhouse>

ライブラリのフルパスをドライバー DRIVER=/usr/local/lib/psqlodbcw.so で指定するために、odbc.ini の編集が必要になる場合があります。

​

MS SQL Server への接続例

Ubuntu OS 環境。

MS SQL に接続するための ODBC ドライバをインストールします:

$ sudo apt-get install tdsodbc freetds-bin sqsh

ドライバーの設定:

    $ cat /etc/freetds/freetds.conf
    ...

    [MSSQL]
    host = 192.168.56.101
    port = 1433
    tds version = 7.0
    client charset = UTF-8

    # TDS接続のテスト
    $ sqsh -S MSSQL -D database -U user -P password

    $ cat /etc/odbcinst.ini

    [FreeTDS]
    Description     = FreeTDS
    Driver          = /usr/lib/x86_64-linux-gnu/odbc/libtdsodbc.so
    Setup           = /usr/lib/x86_64-linux-gnu/odbc/libtdsS.so
    FileUsage       = 1
    UsageCount      = 5

    $ cat /etc/odbc.ini
    # $ cat ~/.odbc.ini # ClickHouseを実行するユーザーでサインインしている場合

    [MSSQL]
    Description     = FreeTDS
    Driver          = FreeTDS
    Servername      = MSSQL
    Database        = test
    UID             = test
    PWD             = test
    Port            = 1433

    # (任意) ODBC接続のテスト（isqlツールを使用するには[unixodbc](https://packages.debian.org/sid/unixodbc)パッケージをインストールしてください）
    $ isql -v MSSQL "user" "password"

注記:

• 特定の SQL Server バージョンでサポートされる最も古い TDS バージョンを確認するには、製品ドキュメントを参照するか、MS-TDS Product Behavior を参照してください

ClickHouse での Dictionary の設定:

DDL

CREATE DICTIONARY test (
    k UInt64,
    s String DEFAULT ''
)
PRIMARY KEY k
SOURCE(ODBC(table 'dict' connection_string 'DSN=MSSQL;UID=test;PWD=test'))
LAYOUT(FLAT())
LIFETIME(MIN 300 MAX 360)

設定ファイル

<clickhouse>
    <dictionary>
        <name>test</name>
        <source>
            <odbc>
                <table>dict</table>
                <connection_string>DSN=MSSQL;UID=test;PWD=test</connection_string>
            </odbc>
        </source>

        <lifetime>
            <min>300</min>
            <max>360</max>
        </lifetime>

        <layout>
            <flat />
        </layout>

        <structure>
            <id>
                <name>k</name>
            </id>
            <attribute>
                <name>s</name>
                <type>String</type>
                <null_value></null_value>
            </attribute>
        </structure>
    </dictionary>
</clickhouse>