Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 频率从天级提升至分钟级 2008 • 进行了通用化改造，开始承 接公司内部其他报表系统 • 助力百度统计成为国内最大 的中文网站分析工具 2009 • 随百度业务飞速发展，对 Doris的性能、可用性、拓 展性进行了全面升级 • 承担百度所有统计报表业务 2012 01 Doris简介 04 05 06 • 全新的数据模型，查询存储 效率大幅提升 • MPP框架，支持分布式计算 2013 At-Most-Once 制定 Label 生成策略 • 外部系统需要保证自身的 At-Least-Once，这样就可以保证 导入流程的 Exactly-Once。 程序自身保证 At-Least-Once 多表原子性导入 • 每个表拆分多个任务，并下发BE • BE执行后汇报FE • FE 判断导入多数完成 publish 生效版本 • 后续查询规划时使用新的数据版本 04 使用案例 Exactly Once

TiDB 可观测性 的设计与实现 – 陈霜 About me ● 陈霜, TiDB Insight R&G Engineer, PingCAP ● chenshuang@pingcap.com ● Github: crazycs520 Agenda ● TopSQL: Bind SQL With CPU Resources ● System Table

Confidential • 在世界范围内的统计信息显示，Nosql和数据湖已经不在数据分析 领域占有主要市场 • Nosql和数据湖缺少很多支持数据分析的重要特性 o 缺少在高并发场景下的隔离性和一致性 o 和现有的BI工具很难集成 • 关系型数据库已经重新成为数据分析的主要平台 NoSQL 和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved 以关系型数据库为基础的数据仓库很难适应云环境 @2022 OpenPie. All rights reserved. OpenPie Confidential 计算引擎方面 • 完备的SQL语言支持 • 高效的分布式计算能力 • 完备的事务支持，隔离性 一致性 原 子性 公有云特性方面 • 存算分离 • 弹性的计算集群 • 只为必要的计算付费 @2022 OpenPie. All rights reserved Confidential • Agg • Subplan • Sublink • Outer join • Window agg • Materialized view ANSI 标准 SQL 的完备支持 @2022 OpenPie. All rights reserved. OpenPie Confidential • 全面的逻辑优化（谓词下推，子查询子链接提升，外连接消除） • 纯粹基于代价的物理优化

使用简单 功能齐全 性能极致 安全可靠 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 重要特点 eMPP 完备的事务支持 完善的SQL标准支持 Postgres生态支持 安全 友好的用户接口（WebSql, ODBC/JDBC driver等). 云原生 • 弹性计算资源（横向和纵向）、极速调整 OpenPie Confidential 计算 • MPP • 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群 • 弹性伸缩：集群大小、集群类型、集群数量 • 隔离性：不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 @2022 OpenPie. All rights reserved. OpenPie Confidential • 多租户隔离 reserved. OpenPie Confidential • ACID - 支持两种隔离级别：读已提交、可重复读 • 扩展性 - 事务管理器无单点性能瓶颈 • 隔离性 - 不同租户之间的事务管理器是完全隔离的，不会相互影响 • 容错性 - 事务管理器支持对各类基础设施故障进行自动容错 事务 @2022 OpenPie. All rights reserved. OpenPie Confidential

低价的对象存储 Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 些优势使云原生数据库得以降低计算成本，提供无限丰富的计算资源，实现分钟级的伸缩性和真正的高可用，释放 出数据计算产生更多智能的机会。以下是云原生时代数字企业的典型使用场景 * 每天有数个小的计算任务，需要数个节点 * 每周有一个中等计算任务，需要数十个节点 * 每月有一个大的计算任务，需要数干个节点 认为计算技术目前经历了三代平台: @大型机时代; @PC机时 代; 和 回云计算时代。每一代计算平台的变更，都带来了数据计算技术的突破性创新的可能性。随着计算技术从大型 机时代变革为PC机时代，PC机逐渐取代大型机，极大地降低计算门极，计算资源日渐丰富，数据计算技术突破性创 新。 Openpie 以“Data Computing for New Discoveries ” 数据计算，只为新发现」 为使命，旗下云原生虚拟数仓 PieCloudDB ，是以对行业顶级数据库的抽象思考和设计原则复用为技术路线，采用领先的数仓 虚拟化技术，可将多个数仓统一整合到一个高可用的云虚拟数仓，打通多云的数据管道，数据计算资源按需扩缩容， 提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数量级增加可计算数据空间的同时，数量级降低数仓 成本，打开无限数据计算空间，推进AVBI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务器无感知

多租户隔离 • 存储资源和计算资源：分离和隔离 • 资源伸缩快速简单 • 计算、存储：按需付费 • 智能管理，复杂交给*aaS厂商 PieCloudDB 重要特点 eMPP ACID; 完备的事务支持 (隔离级别：RR, RC) 完善的SQL标准支持 安全可靠 友好的用户接口（websql, ODBC/JDBC driver等). 云原生 云中立 • 弹性计算资源（横向纵向）、极速调整 • 依赖于FoundationDB的KV特性、可串⾏化事务、watcher机制 • 多个集群（虚拟数仓）可以共享⼀份元数据 • FoundationDB⾼可⽤设计、备份恢复保证元数据的可靠性和可 ⽤性 元数据管理缓存 • ⺫的： • 减轻FoundationDB集群负担 • 加速查询优化（⺴络延迟远⾼于内存延迟） • 以Postgres原⽣的元数据缓存概念为基础，优化重构实现适⽤于 据， 避免数据不⼀致 • 将来Time Travel查询“回收站”数据 ⽤户数据查询效率优化 • 远程访问数据要考虑的点：性能和成本 • 如何解决？ • 数据和/或辅助信息缓存，同时⼀致性Hash减少数据移动 • 读取优化（⽐如异步并⾏等） • 计算优化（各种功能特性持续优化中） • 很多复杂OLAP查询如果不是IO瓶颈，不会受制于它 • …... 计算引擎之优化器 PieCloudDB

列式存储 分区、压缩 高级特性 递归查询、窗口函数 集成分析 多格式、多语言 Madlib: 机器学习 数据库内并行模型训练和预测、分类 ORCA 复杂查询优化器 成熟稳定 完备生态、支撑核心生产系统 13 Pivotal Confidential–Internal Use Only 列式存储 表‘SALES’ 表‘SALES’ ■ 更适合压缩 ■ 查询部分列时速度快 processing - 联机事务处理 出色的OLTP特性 天生的优势 ● 行式存储 ● 索引 ● 直接分发 ● 完整的增删改 Greenplum 6 增强 ● 并发修改、删除 ● 系统性的优化事务和锁 26 Pivotal Confidential–Internal Use Only 行式存储 表‘SALES’ 表‘SALES’ ■ 更适合OLTP负载 ■ 高效更改和删除 OLTP-OLAP独立部署 OLTP数据库 OLAP数据仓库 ■ 实时性 ■ 数据同步复杂性 ■ 应用复杂性 HTAP HTAP = ? ■ 卓越的OLAP特性 ■ 出色的OLTP特性 ■ 多态存储 ■ 有效的并发和资源管理 OLTP-OLAP独立部署 OLTP数据库 OLAP数据仓库 ■ 实时性 ■ 数据同步复杂性 ■ 应用复杂性 43 Pivotal Confidential–Internal

一趋势靠拢。2020 年数据显示，云数据库已占据整体数据库市场份额的40%，2022年云数据库营收数据将占据数据 库整体市场的半数以上。 1 2 全 球 数 据 圈 预 测 IDC： 3 缺 乏 弹 性 然而，随着数据量的不断攀升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈： 4 传统数仓的痛点 很多受欢迎的数据库仓库均为分布式数据库，而典型的传统分布式数据库系统大多是 每周有一个中等计算任务，需要数十个节点 每月有一个大的计算任务，需要数千个节点 无限空间： 灵活伸缩： 资源回收： 这些优势使云原生数据库得以降低计算成本，提供无限丰富的计算资源，实现分钟级的伸缩性和真正的高可用，释放 出数据计算产生更多智能的机会。以下是云原生时代数字企业的典型使用场景： 面对这些不断变化的业务需求和计算任务，企业产生了更高的需求： 充分结合云计算、大规模并行处理技术的云原生虚拟数仓 为计算技术目前经历了三代平台: ①大型机时代；②PC机时 代；和 ③云计算时代。每一代计算平台的变更，都带来了数据计算技术的突破性创新的可能性。随着计算技术从大型 机时代变革为PC机时代，PC机逐渐取代大型机，极大地降低计算门槛，计算资源日渐丰富，数据计算技术突破性创 新。 OpenPie 以 “ Data Computing for New Discoveries ”「数据计算，只为新发现」为使命，旗下云原生虚拟数仓

让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 全新云原⽣架构「⼀份数据，多引擎计算」 弹 性 扩 缩 容 ， 打 破 数 据 孤 岛 • 全 面 支 持 H T A P 湖 仓 ⼀ 体 和 向 量 计 算 • 原 ⽣ 支 持 数 据 治 理 ， 三 权 分 离 • 支 持 ⼤ 语 ⾔ 基 ⽣态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握 多种组件的不同使用⽅法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也⽆法直接利用云 资源的弹性能⼒。组件太多，导致集群部署和后期运维管理很麻烦，市场上相 关⼈才储备量不多，技术兜底依赖于Cloudera，国内第三⽅公司主要是基础运 维和开发为主。 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开⽆限数据计算空间， 支撑更⼤模型所需的数据和计算。更好地赋能业务发 展并⾛向绿⾊。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐⽯ | ⾼安全 ⾼在线 ⾼可靠 突 破 性 创 新 的 核 ⼼ 技 术 出 ⾊ 的 数 仓 成 本 效 益 @2024 OpenPie. All

存储过程，OLAP窗口函数，事务及数据库标准隔离级别 完备功能和生态，实现应用快速迁移或适配 • PB级数据秒级响应 MPP水平扩展架构，PB级数据查询秒级响应；向量化计算，及列存储智能索引，领先传统数据库引擎性能 3x； 新一代SQL优化器，实现复杂分析语句免调优 • 支持多模分析 通过PostGIS 插件支持 地理信息数据分析；MADlib 库内置100+ 机器学习算法库，实现数据智能探索；高性 能向量检索算法，支持视频/图像检索 提升商家的运营效率和效果，将蕴藏在数据中的价值挖 掘出来，持续催化品牌和消费者关系。 金融客户案例 – 某金融信息平台 国内知名的某互联网金融信息服务平 台，致力为个人、企业、金融机构提供 金融资产交易信息服务，打造综合性互 联网金融服务平台。 AnalyticDB for PostgreSQL 集 群实例 BI 分析 RDS RDS RDS EMR 交易库 大数据平台 经营分析平台 批量同步 AnalyticDB 2、Web App检索的时，把非结构化数据通过 特征提取服务接口提取出向量，同时调用 AnalyticDB for PG的查询分析接口做查询。 特点： • 易用，结构化和非结构化数据关联查询。 • 准确性高，阿里自研向量检索算法。 Web APP AnalyticDB for PostgreSQL AnalyticDB for PostgreSQL Client 特征提取服 务 5.检索分析