OpenAPI を使用した DB ClickPipes のスケーリング

OpenAPI を使用して Postgres ClickPipes をスケーリングする方法

ほとんどのユーザーにこの API は必要ありません

DB ClickPipes のデフォルト設定は、ほとんどのワークロードをそのまま処理できるよう設計されています。ワークロードでスケーリングが必要だと思われる場合は、サポートケースを作成してください。ユースケースに最適な設定をご案内します。

スケーリング API は、次のような場合に役立つことがあります。

• 大規模な初期ロード (4 TB 超)
• 中程度のデータ量をできるだけ短時間で移行する
• 同一サービスで 8 つを超える CDC ClickPipes を運用する

スケールアップを試みる前に、次の点を検討してください。

• ソース DB に十分な空き容量があることを確認する
• まず ClickPipe の作成時に、初期ロードの並列度とパーティション化を調整する
• CDC の遅延を引き起こしている可能性があるソース側の長時間実行中のトランザクションを確認する

スケールを大きくすると、ClickPipes のコンピュートコストも比例して増加します。 初期ロードのためだけにスケールアップする場合は、想定外の請求を避けるため、スナップショットの完了後にスケールダウンすることが重要です。料金の詳細については、Postgres CDC の料金を参照してください。

​

このプロセスの前提条件

開始前に、以下が必要です。

1. 対象の ClickHouse Cloud サービスに対する Admin 権限を持つ ClickHouse API key。
2. これまでにそのサービスで DB ClickPipe (Postgres、MySQL、または MongoDB) が少なくとも 1 つプロビジョニングされていること。CDC インフラストラクチャは最初の ClickPipe の作成時に作成され、それ以降はスケーリング用エンドポイントが利用可能になります。

​

DB ClickPipes をスケールするための手順

コマンドを実行する前に、以下の環境変数を設定します。

ORG_ID=<Your ClickHouse organization ID>
SERVICE_ID=<Your ClickHouse service ID>
KEY_ID=<Your ClickHouse key ID>
KEY_SECRET=<Your ClickHouse key secret>

現在のスケーリング設定を取得します (省略可) :

curl --silent --user $KEY_ID:$KEY_SECRET \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
| jq

# example result:
{
  "result": {
    "replicaCpuMillicores": 2000,
    "replicaMemoryGb": 8
  },
  "requestId": "04310d9e-1126-4c03-9b05-2aa884dbecb7",
  "status": 200
}

希望するスケーリングを設定します。サポートされている構成は、1～32 CPUコアで、メモリ (GB) はコア数の4倍です。

cat <<EOF | tee cdc_scaling.json
{
  "replicaCpuMillicores": 32000,
  "replicaMemoryGb": 128
}
EOF

curl --silent --user $KEY_ID:$KEY_SECRET \
-X PATCH -H "Content-Type: application/json" \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
-d @cdc_scaling.json | jq

設定が反映されるまで待ちます (通常は3〜5分) 。スケーリングが完了すると、GET エンドポイントに新しい値が反映されます。

curl --silent --user $KEY_ID:$KEY_SECRET \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
| jq

# example result:
{
  "result": {
    "replicaCpuMillicores": 32000,
    "replicaMemoryGb": 128
  },
  "requestId": "5a76d642-d29f-45af-a857-8c4d4b947bf0",
  "status": 200
}