Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李/松/胡争 23选择 Flink Ic+b+1g #2 常DCCDC 分析方案 #1 如3实时写 4F取 ## 未来规划 #4 #见的CDC分析方案 #1 离线 HBase 集u分析 CDC 数a 、CDC记录实时写入HBase。高吞P + 低延迟。 2、小vSg询延迟低。 3、集u可拓展 ci评C A3a/21 Kudu 维护 CDC 数据p 、支持L时更新数据，时效性佳。 2、CK加速，适合OLAP分析。 方案评估 优点 、cedKudup群，a较小众。维护 O本q。 2、H HDFS / S3 / OSS 等D裂。数据c e，且KAO本不如S3 / OSS。 3、Kudud批量P描不如3ar4u1t。 4、不支持增量SF。 h点 直接D入CDC到Hi2+分析 、流程能E作 Stream A C D E F G INSERT DELETE UPDATE INSERT DELETE UPDATE INSERT F3152 + Icebe7g CDC导入i案 D6w5st7e+4 c65su4e 15c7e4e5t+3 ch+5ges 、gc近实k导入和实k读取。 2、计算a擎原生gcCDCe入，不需要额外的业务 字r设计。 3、统一的h据t存储，多o化的计算模型。

Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415 vi 9.2.9 CDC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416 Build . . -------------+-----------------+ | agent_plugins_enabled | true | | cached_connections | 0 | | cdc_server_port | 33071 | | check_table_metadata_enabled | false | | kernel_executor_size | 0 | | m 9.2.9 CDC CDC (Change Data Capture) captures incremental data changes. CDC can monitor data changes in the storage nodes of ShardingSphere‐Proxy

395 操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395 9.2.9 CDC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396 运行部署 . . -------------+-----------------+ | agent_plugins_enabled | true | | cached_connections | 0 | | cdc_server_port | 33071 | | check_table_metadata_enabled | false | | kernel_executor_size | 0 | | m ref="console" /> 9.2.9 CDC CDC（Change Data Capture）增量数据捕捉。CDC 可以监控 ShardingSphere‐Proxy 的存储节点中的数 据变化，捕捉到数据操作事件，过滤并提取有用信息，最终将这些变化数据发送到指定的目标上。 CDC 可以用于数据同步，数据备份和恢复等方面，目前支持 openGauss、MySQL

function overrides #0020 //{{AFX_VIRTUAL(CScribbleView) #0021 public: #0022 virtual void OnDraw(CDC* pDC); // overridden to draw this view #0023 virtual BOOL PreCreateWindow(CREATESTRUCT& cs); #0024 OnPreparePrinting(CPrintInfo* pInfo); #0026 virtual void OnBeginPrinting(CDC* pDC, CPrintInfo* pInfo); #0027 virtual void OnEndPrinting(CDC* pDC, CPrintInfo* pInfo); 第４章 Visual C++ - 整合性軟體開發環境 275 #0028 ///////////////////////// #0054 // CScribbleView drawing #0055 #0056 void CScribbleView::OnDraw(CDC* pDC) #0057 { #0058 CScribbleDoc* pDoc = GetDocument(); #0059 ASSERT_VALID(pDoc); #0060 #0061

upgrade will fail. • Deprecate the --sort-dir parameter in the cdc cli changefeed command of TiCDC. Instead, you can set --sort-dir in the cdc server command. #1795 • After upgrading to TiDB 5.1, if TiDB that the incorrect handling of io.EOF might cause replication interruption #1633 * Correct the TiKV CDC endpoint CPU metric in the TiCDC dashboard #1645 * Increase defaultBufferChanSize to avoid replication LOAD DATA Y Y Y N Database migration toolkit (DM) Y Y Y Y TiDB Binlog Y Y Y Y Change data capture (CDC) Y Y Y Y 2.3.11 Management, observability, and tools Management, observability, and tools 5.2 5.1

LOAD DATA Y Y Y N Database migration toolkit (DM) Y Y Y Y TiDB Binlog Y Y Y Y Change data capture (CDC) Y Y Y Y 2.3.11 Management, observability, and tools Management, observability, and tools 5.2 5.1 (nvme ssd) * 1 10.0.1.7 10.0.1.8 10.0.1.9 Default port Global di- rec- tory con- fig- u- ra- tion CDC 3 8 VCore 16GB * 1 10.0.1.11 10.0.1.12 10.0.1.13 Default port Global di- rec- tory con- fig- u- ra- native high availability. After the deployment, start TiCDC and create the replication task using cdc cli. • TiDB Binlog deployment topology This is to deploy TiDB Binlog along with the minimal cluster

workaround is to disable the scheduling and restart the unavailable TiKV #10909 – Fix the issue that CDC adds scan retries frequently due to the Congest error #11082 – Fix the issue that the Raft connection Y Y Y N 3 Database migration toolkit (DM) Y Y Y Y Y TiDB Binlog Y Y Y Y Y Change data capture (CDC) Y Y Y Y Y 2.3.11 Management, observability, and tools Management, observability, and tools 5.3 5 (nvme ssd) * 1 10.0.1.7 10.0.1.8 10.0.1.9 Default port Global di- rec- tory con- fig- u- ra- tion CDC 3 8 VCore 16GB * 1 10.0.1.11 10.0.1.12 10.0.1.13 Default port Global di- rec- tory con- fig- u- ra-

版本及后续版本将不再支持设置系统表的 replica。在集群升级前，需要 清除相关系统表的 replica，否则会导致升级失败。 • 在 TiCDC 的 cdc cli changefeed 命令中废弃 --sort-dir 参数，用户可在 cdc server 命令中设定 --sort �→ -dir。#1795 • 升级到 TiDB 5.1 之后，如果遇到 “function READ ONLY ，使得下游 MySQL 5.7 和上游 TiDB 的行为 保持一致 #1585 * 修复错误地处理 io.EOF 可能导致同步中断的问题 #1633 * 修正 TiCDC 面板中的 TiKV CDC endpoint CPU 统计信息 #1645 * 增加 defaultBufferChanSize 来避免某些情况下同步阻塞的问题 #1259 * 修复 Avro 输出中丢失时区信息的问题 #1712 Dumpling 逻辑导出 Y Y Y Y 事务 LOAD DATA Y Y Y N 数据迁移工具 Y Y Y Y TiDB Binlog Y Y Y Y Change data capture (CDC) Y Y Y Y 2.3.11 管理，可视化和工具 管理，可视化诊断和工具 5.2 5.1 5.0 4.0 TiDB Dashboard Y Y Y Y SQL 诊断 实验特性 实验特性 实验特性

Dumpling 逻辑导出 Y Y Y Y 事务 LOAD DATA Y Y Y N 数据迁移工具 Y Y Y Y TiDB Binlog Y Y Y Y Change data capture (CDC) Y Y Y Y 2.3.11 管理，可视化和工具 管理，可视化诊断和工具 5.2 5.1 5.0 4.0 TiDB Dashboard Y Y Y Y SQL 诊断 实验特性 实验特性 实验特性 TiFlash 8234 Prometheus 拉取 TiFlash metrics 端口 Pump 8250 Pump 通信端口 Drainer 8249 Drainer 通信端口 CDC 8300 CDC 通信接口 Prometheus 9090 Prometheus 服务通信端口 Node_exporter 9100 TiDB 集群每个节点的系统信息上报通信端口 Blackbox_exporter 10.0.1.6 默认端口全局目录配置 TiKV 3 16 VCore 32GB 2TB (nvme ssd) * 1 10.0.1.7 10.0.1.8 10.0.1.9 默认端口全局目录配置 CDC 3 8 VCore 16GB * 1 10.0.1.11 10.0.1.12 10.0.1.13 默认端口全局目录配置 Monitoring & Grafana 1 4 VCore 8GB * 1

37 For more information, see documentation. • Performance Overview dashboard adds TiFlash and CDC (Change Data Capture) panels #39230 @dbsid Since v6.1.0, TiDB has introduced the Performance Overview TiFlash and CDC pan- els. With these panels, starting from v6.5.0, you can use the Performance Overview dashboard to analyze the performance of all components in a TiDB cluster. The TiFlash and CDC panels the request types, latency analysis, and resource usage overview of your TiFlash cluster. • On the CDC panels, you can easily view the health, replication latency, data flow, and downstream write latency