Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC 数据 ↓ ## MySQL 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便拓展到Parquet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 等割裂。数据独立，且存储成本不如 S3 / OSS。 3、Kudu的批量扫描不如parquet。 4、不支持增量拉取。 FLINK FORWARD #ASIA 2020 ## MySQL → GQOOP → HVE ## 方案评估 优点 1、流程能工作 2、Hive存量数据不受增量数据影响。 ## 缺点 1、数据不是实时写入； 2、每次数据导致都要 MERGE 存量数据。T+1

## 面向亿行C/C++代码的 静态分析系统设计及实践 肖枭 ## 500+高端科技领导者与你一起探讨 技术、管理与商业那些事儿 2019年6月14–15日 上海圣诺亚皇冠假日酒店   2016年香港科技大学取得博士学位 过去10年一直以极高的热情从事静态分析技术的学术用研究 合作创办源伞科技，致力于推动静态分析技术在企业中的应用 ## 目录 代码质量管理是个大问题 静态分析+代码评审的实践 ## 生产质量是责任 ☐ 学习和强调，红线和惩罚，100%的测试 覆盖率，和事后复盘并不够 ☐ 有经验的程序员也会犯错 [Image](/uploads/documents/d/f/4/2/df4204d40f8d9990146651d100a36efb/p6_1.jpg) ## 自动化工具+流程才是未来 ☐ 静态分析工具：半智能的代码分析机器人 ☐ 静态分析辅助代码评审 ## Bug! Thx! Bug! ## 代码质量改进工具、流程落地难 □ 投入大 ☐ KPI不痛不痒 使用主体和责任主体不一致 ☐ 一步登天想要终极AI

大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践  IBM $ ^{®} $ ## 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进大数据措施的经济性和活力，这样不仅有助于削减 开源软件项目，支持在多个商业服务器群集间分散处理和存储大型数据集，并可根据需求变化从单一服务器扩展到数以千计的服务器。主要的Hadoop组件包括Hadoop Distributed File System（用于存储大型文件）和Hadoop分布式并行处理框架（称为MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这 。 ## 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和分析大数据方面实现了范式转变。无论是要更深入的分析，还是希望获得更出色的洞察、新产品、新服务以及更高的服务水平，都可以通过这项技术一一实现，从而大幅降低成本并创造新的收入。 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种不同来源的大量不同类型的数据来实现大数据与Hadoop

Curve元数据节点高可用 • 1. 需求 • 2. 技术选型 • 3. etcd clientv3的concurrency介绍 • 3.1 etcd clientV3的concurrency模块构成 • 3.2 Campaign的流程 • 3.2.1 代码流程说明 • 3.2.2 举例说明Campagin流程 • 3.3 Observe的流程 4. MDS使用election模块的功能进行选主 区 4.2.5.1 事件一先发生 4.2.5.2 事件二先发生 4.2.6 异常情况4：Etcd集群的follower节点异常 4.2.7 各情况汇总 ### 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds，但同时只有一个mds节点提供服务，称该提供服务的m 熟知的就是zookeeper和etcd，考虑当前系统中mds有两个外部依赖模块，一是mysql，用于存储集群拓扑的相关信息；二是etcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制：TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期，到期后key会被自

## 解放Python的 表达力，性能和安全性 Thautwarm 目录 CONTENTS >> 语法和语义扩展 >> JIT >> 静态类型  ## 语法和语义扩展 演示一小部分: passengers > 20 -> 2.0 Bus {passengers} -> 1.0 在实际业务中处理数据。 虽然模式匹配似乎还不甚流行，但它仅是编程语言走向未来必然经过的一个极其不起眼的、实现简单的基础设施。 ## 语言决定思维模型 在实际业务中处理数据。 if isinstance(vehicle, Car): passengers = vehicle.passengers |Restrain JIT|2.74 -> 0.64|3.54 -> 0.59|3.14 -> 0.93|2.00 -> 0.03|2.60 -> 0.96| 如果还有时间，我们用静态类型来写一个简单的网页生成框架 一个用起来，没有学习曲线的框架。 很安全，因为没有程序员需要付出心智负担的工作。 ## THANK YOU ![Image](/uploads/document