Aurora Postgres ソース設定ガイド

ClickPipes のソースとして Amazon Aurora Postgres を設定する

​

サポートされている Postgres のバージョン

ClickPipes は、Aurora PostgreSQL-Compatible Edition バージョン 12 以降に対応しています。

​

論理レプリケーションを有効にする

Aurora インスタンスですでに以下の設定が有効になっている場合は、このセクションはスキップできます。

• rds.logical_replication = 1

以前に別のデータレプリケーションツールを使用していた場合は、この設定があらかじめ構成されていることが一般的です。

postgres=> SHOW rds.logical_replication ;
 rds.logical_replication
-------------------------
 on
(1 row)

まだ設定していない場合は、以下の手順に従ってください。

1. 必要な設定を含む、Aurora PostgreSQL のバージョンに対応した新しいパラメータグループを作成します。
   • rds.logical_replication を 1 に設定します

2. 新しいパラメータグループを Aurora PostgreSQL クラスターに適用します

3. 変更を反映するため、Aurora クラスターを再起動します

​

データベースユーザーを設定する

管理者ユーザーとして Aurora PostgreSQL の writer インスタンスに接続し、次のコマンドを実行します。

1. ClickPipes 専用のユーザーを作成します。

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. 前の手順で作成したユーザーに、スキーマレベルの読み取り専用アクセス権を付与します。以下の例は public スキーマに対する権限を示しています。レプリケーションしたいテーブルを含む各スキーマについて、これらのコマンドを繰り返してください。

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. ユーザーにレプリケーション権限を付与します。

   GRANT rds_replication TO clickpipes_user;
   

4. レプリケーションしたいテーブルを含む publication を作成します。パフォーマンスへのオーバーヘッドを避けるため、publication には必要なテーブルだけを含めることを強く推奨します。

publication に含める各テーブルでは、主キー が定義されているか、または replica identity が FULL に設定されている必要があります。スコープ設定のガイダンスについては、Postgres よくある質問 を参照してください。

• 特定のテーブルに対する publication を作成するには:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • 特定のスキーマ内のすべてのテーブルに対する publication を作成するには:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

clickpipes publication には、指定したテーブルから生成された変更イベントの集合が含まれ、後でレプリケーションストリームを取り込むために使用されます。

​

ネットワークアクセスの設定

​

IP ベースのアクセス制御

Aurora クラスターへのトラフィックを制限する場合は、ドキュメントに記載されている固定 NAT IP を、Aurora のセキュリティグループの Inbound rules に追加してください。

​

AWS PrivateLink 経由のプライベートアクセス

プライベートネットワーク経由で Aurora クラスターに接続するには、AWS PrivateLink を利用できます。接続の設定については、ClickPipes 向け AWS PrivateLink セットアップガイドを参照してください。

​

Aurora 固有の考慮事項

Aurora PostgreSQL で ClickPipes を設定する際は、以下の点に注意してください。

1. 接続エンドポイント: 論理レプリケーションでは、レプリケーションスロットを作成するための書き込み権限が必要であり、プライマリインスタンスに接続しなければならないため、必ず Aurora クラスターの writer エンドポイントに接続してください。

2. フェイルオーバー時の動作: フェイルオーバーが発生すると、Aurora は自動的に reader を昇格させ、新しい writer にします。ClickPipes は切断を検知すると writer エンドポイントへの再接続を試み、そのエンドポイントは新しいプライマリインスタンスを指すようになります。

3. Global Database: Aurora Global Database を使用している場合は、リージョン間のデータ移動はクロスリージョンレプリケーションですでに処理されるため、プライマリ Region の writer エンドポイントに接続してください。

4. ストレージに関する考慮事項: Aurora のストレージ層はクラスター内のすべてのインスタンスで共有されるため、標準の RDS と比べて論理レプリケーションのパフォーマンスが向上する場合があります。

​

動的なクラスターエンドポイントへの対処

Aurora は適切なインスタンスに自動的にルーティングされる安定したエンドポイントを提供しますが、接続先を一貫して維持するために、さらに以下の方法も検討できます。

1. 高可用性構成では、現在のプライマリインスタンスを自動的に指す Aurora writer エンドポイント を使用するようにアプリケーションを設定してください。

2. クロスリージョンレプリケーションを使用している場合は、レイテンシを低減し、耐障害性を高めるために、リージョンごとに個別の ClickPipes を設定することを検討してください。

​

次のステップ

これで、ClickPipeを作成し、Aurora PostgreSQL クラスターから ClickHouse Cloud へのデータの取り込みを開始できます。 ClickPipe の作成時に必要になるため、Aurora PostgreSQL クラスターの設定時に使用した接続情報は必ず控えておいてください。