異動資料擷取：如何將資料從 MySQL 搬移到 BigQuery？

如圖所示，部署的解決方案能夠與任何 MySQL 資料庫搭配使用，而該解決方案是建構於 Debezium 開發的連接器來監控。該連接器使用 Data Catalog（Google Cloud 的可擴展管理服務）儲存 table metadata，並將更新送到 Pub/Sub（Google Cloud 原生串流接收及訊息傳遞技術）。然後，Dataflow 管道 (pipeline) 會從 Pub/Sub 中獲得這些更新，並同步 MySQL 資料庫與 BigQuery 資料集。如圖所示，部署的解決方案能夠與任何 MySQL 資料庫搭配使用，而該解決方案是建構於 Debezium 開發的連接器來監控。該連接器使用 Data Catalog（Google Cloud 的可擴展管理服務）儲存 table metadata，並將更新送到 Pub/Sub（Google Cloud 原生串流接收及訊息傳遞技術）。然後，Dataflow 管道 (pipeline) 會從 Pub/Sub 中獲得這些更新，並同步 MySQL 資料庫與 BigQuery 資料集。如圖所示，部署的解決方案能夠與任何 MySQL 資料庫搭配使用，而該解決方案是建構於 Debezium 開發的連接器來監控。該連接器使用 Data Catalog（Google Cloud 的可擴展管理服務）儲存 table metadata，並將更新送到 Pub/Sub（Google Cloud 原生串流接收及訊息傳遞技術）。然後，Dataflow 管道 (pipeline) 會從 Pub/Sub 中獲得這些更新，並同步 MySQL 資料庫與 BigQuery 資料集。