Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC 数据 ↓ ## MySQL MySQL $ ^{®} $ → HBASE ## 方案评估 优点 1、CDC记录实时写入HBase。高吞吐+低延迟。 2、小范围查询延迟低。 3、集群可拓展 缺点 1、行存索引不适合分析任务。 2、HBase集群维护成本较高。 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便拓展到Parquet、Avro、Orc等。 o、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 2、和 HDFS / S3 / OSS 等割裂。数据独立，且存储成本不如 S3 / OSS。

可能是离终点最近的那个  ## 02 怎么做兼容：以 CDC 为例 If it looks like a duck, swims like a duck, and quacks like a duck, then it probably is a duck DTS • Canal/CloudCanal • Maxwell • Debezium • Streamsets • mysql-binlog-connector-java • Flink CDC ## 下一步 - 验证更多工具 GTID - 多流 ## 问题背景 已有系统迁移怎么办？ 上游 ## 业务系统 ## (1) (2) (3) (4) (5) (6) (7) (8) 实例锁定 只读实例 CN 高可用 CDC CDC 监控 SQL 分析 性能测试 实例升级 数据自均衡 DN 高可用 PITR CN 监控 数据透视 混沌测试 国产化 实例删除 垂直扩/缩容 GMS 高可用 增量备份 DN 监控 Dashboard 一致性测试 导入导出工具 实例创建 水平扩/缩容 CDC 高可用 备库重搭 GMS 监控 SQL审计

 ### OpenShift Container Platform 4.6 ## 在裸机上安装 安装 OpenShift Container Platform 裸机集群 Powered by TCPDF (www.tcpdf.org) 安装 OpenShift Container Platform 版本 4.6 中，您可以在您置备的裸机基础架构上安装集群。  ## 重要 虽然您可能能够按照此流程在虚拟化或云环境中部署集群，但您必须清楚非裸机平台的其他注意事项。在尝试在此类环境中安装 OpenShift Platform 安装和更新流程的详细信息。 ● 如果使用防火墙，则必须将其配置为允许集群需要访问的站点。  ## 注意 如果您要配置代理，请务必也要查看此站点列表。 ##### 1.1.2. OpenShift Container Platform

/f/a7df77a537ee0f8bf8c3ac0b68cdc05e/p2_1.jpg) ## QCon 北京 ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 QCon  ## 全球软件开发大会 培训：5月25–26日 [Image](/uploads/documents/a/7/d/f/a7df77a537ee0f8bf8c3ac0b68cdc05e/p2_3.jpg)  上海 ## 技术领导力峰会 时间：6月14–15日 北京 GITC ## 全球大前端技术大会 ts/a/7/d/f/a7df77a537ee0f8bf8c3ac0b68cdc05e/p2_5.jpg) 深圳 ## 全球架构师峰会 大会：7月12–13日 培训：7月14–15日  7月 10月 QCon 上海 ##

[Image](/uploads/documents/c/b/3/d/cb3d67b7f1ba7441f66d41cd9fc5cdc7/p1_1.jpg) 郑渊 腾讯公司 高级工程师  微服务架构的困境与突破 01 建模：通过表象看本质 02 [Image](/uploads/documents/c/b/3/d/cb3d67b7f1ba7441f66d41cd9fc5cdc7/p4_1.jpg)  To move from Monolithic to Microservices more 等基础设施不完善，维护成本高（自建→云原生） ## MVC架构  ## 微服务架构的困境与突破 ## ➢ 构建合理的业务模型（Monolith or Microservice） 1. 建模方法不只有领取驱动设计-DDD，还有用例驱动设计-UDD等；

industries   ## Performance Many applications have quality and reliability. ## Static Vs Runtime  ## Static vs Runtime – Bounds Check Potential out of bounds write void foo() 722cdc09623f12d98/p18_1.jpg) Build Review Production  ![Image](/uploads/documents/5/1/9/7/519722cb140c410722cdc09623f12d98/p18_3

at the bottom of that navigation panel.  ## HYPERLEDGER FABRIC Enterprise grade permissioned distributed ledger platform exchange goods and services in the real world.  In addition to being decentralized and collaborative, the information recorded to provide controlled access to the ledger.  Smart contracts are not only a key mechanism for encapsulating information and keeping

.. 413 9.2.8 Logging Configuration ..... 414 Background ..... 414 Procedure ..... 415 9.2.9 CDC 416 Build 416 Manual 422 Precautions 429 9.3 Common Configuration 429 9.3.1 Properties Configuration VARIABLES; mysql> SHOW DIST VARIABLES; | agent_plugins_enabled | true | cached_connections | 0 | cdc_server_port | 33071 | check_table_metadata_enabled | false | kernel_executor_size | 0 | max_connec #### 9.2.9 CDC CDC (Change Data Capture) captures incremental data changes. CDC can monitor data changes in the storage nodes of ShardingSphere-Proxy

 # Conan Documentation Release 1.57.0 The Conan team Jul 05, 2024 # 1 Introduction 3 1.1 Open Source 3 1.2 Decentralized compilation is also done by the client application.  The different applications in the image above are: - The Conan client: this solution for every different operating system.  client Installation of packages from servers is also very efficient. Only

392 9.2.7 会话管理 …… 394 相关操作 …… 394 9.2.8 日志配置 …… 395 背景信息 ..... 395 操作步骤 ..... 395 9.2.9 CDC ..... 396 运行部署 ..... 396 使用手册 ..... 401 注意事项 ..... 407 9.3 通用配置 ..... 408 9.3.1 属性配置 ... variable_name | variable_value | | --- | --- | | agent_plugins_enabled | true | | cached_connections | 0 | | cdc_server_port | 33071 | | check_table_metadata_enabled | false | | kernel_executor_size | 0 | | max_ #### 9.2.9 CDC CDC（Change Data Capture）增量数据捕捉。CDC 可以监控 ShardingSphere-Proxy 的存储节点中的数据变化，捕捉到数据操作事件，过滤并提取有用信息，最终将这些变化数据发送到指定的目标上。 CDC 可以用于数据同步，数据备份和恢复等方面，目前支持 openGauss、MySQL