ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践 2023/02/20SelectDB 用户案例 导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈 选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从 1.0 演进到 了 4.0 ，经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层 中进行，内容库数据平台的数据加工链路同样是在腾讯数据 仓库 TDW 上构建的。截止目前，内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ， 经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层的初步引 入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收 益显著。接下来将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考。 基于架构 1.0 存在的问题和 ClickHouse 的局限性，我们尝试对架构进行优化升级，将分析 引擎 ClickHouse 切换为 Doris，Doris 具有以下的优势： Apache Doris 的优势：  Doris 架构极简易用，部署只需两个进程，不依赖其他系统，运维简单；兼容 MySQL 协议，并且使用标准 SQL。  支持丰富的数据模型，可满足多种数据更新方式，支持部分列更新。

DORIS 文档 2 3 3 7 7 10 11 11 11 11 45 64 85 88 95 95 101 105 121 124 142 143 144 147 147 181 191 193 202 目录 目录 目录 SQL手册 数据类型 字面常量 SQL操作符 别名 SQL-手册 注释 语法帮助 DML DDL 长度为1个字节的有符号整型。 范围: [-128, 127] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数可以将其转换成CHAR。 举例: SMALLINT数据类型 SMALLINT数据类型 长度: 长度为2个字节的有符号整型。 范围: [-32768, 32767] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数 将其转换成TINYINT，CHAR。 举例: INT数据类型 INT数据类型 长度: 长度为4个字节的有符号整型。 范围: [-2147483648, 2147483647] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数可以将其转换成TINYINT，SMALLINT，CHAR 举例: mysql> select cast(100 as char);

Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • • 由百度自研，2017年开源，2018年贡献给Apache社区后更名为 Apache Doris 系统定位 • 百度内部统称其为“百度数据仓库Palo”，同时百度云上提供Palo的企业级托管版本 发展历程 01 02 03 • 1.0版本正式上线 • 应用于百度凤巢统计报表的 需求场景，上线后数据更新 频率从天级提升至分钟级 2008 • 进行了通用化改造，开始承 接公司内部其他报表系统 随百度业务飞速发展，对 Doris的性能、可用性、拓 展性进行了全面升级 • 承担百度所有统计报表业务 2012 01 Doris简介 04 05 06 • 全新的数据模型，查询存储 效率大幅提升 • MPP框架，支持分布式计算 2013 • 精简架构、统一用户客户端， 实现高可用 • 正式开始对外提供服务 2015 • 正式开源 • 希望能帮助更多人、让更多 人帮助Doris 2017

Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com Apache Doris在美团外卖数仓中的应用实践 序言 美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来 的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实 现了低成本生产与高效查询的 现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于 Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下，各种数据 引擎百花齐放，但由于业务的复杂性与多样性，目前并没有哪个引擎能够适配所有业务场景，因 此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数 业务团队日常经营分析最典型的场景就是各种维度下的自定义查询，面对如此灵活可变、所见即 1 / 8 Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com 所得的应用场景，美团平台使用Kylin作为公司的主要MOLAP引擎。MOLAP是预计算生产，在增

550 13593 21 tencentyun/qcloud-documents 1458.6199483344500 1736 232 22 apache/incubator-doris 1360.2758552459300 2037 2530 23 alibaba/canal 1318.7773231110300 5667 1408 24 PaddlePaddle/Paddle-Lite 2779679868600 5044 4904 5 apache/skywalking 1886.7815310808000 3880 5747 6 apache/incubator-doris 1360.2758552459300 2037 2530 7 apache/incubator-shenyu 1323.5012404827600 3209 3163 8 risk of open source projects 开源项目代码公开透明，可能会存在多个下游供应商基于上游社区技术进行各自的商业化开发， 这会导致开源项目技术归属出现争议。Apache Doris 和 StarRocks（原 DorisDB）就存在由 于开源技术归属引发的矛盾： Open source projects are open and transparent, and there

232 21 tencentyun/qcloud-documents 49 3323 8 2973 22 apache/incubator-doris 1360.2758552459300 2037 2530 22 apache/incubator-doris 804 1047 1782 909 23 alibaba/canal 1318.7773231110300 5667 1408 23 alibaba/canal 232 21 tencentyun/qcloud-documents 49 3323 8 2973 22 apache/incubator-doris 1360.2758552459300 2037 2530 22 apache/incubator-doris 804 1047 1782 909 23 alibaba/canal 1318.7773231110300 5667 1408 23 alibaba/canal 7815310808000 3880 5 apache/skywalking 5747 915 769 2858 680 6 apache/incubator-doris 1360.2758552459300 2037 6 apache/incubator- doris 2530 804 1047 1782 909 7 apache/incubator-shenyu 1323.5012404827600 3209

注：GitHub Star 数量统计截⽌⾄ 2023 年 6 ⽉ 1 ⽇。 Star 11,300+ DataEase 开源项⽬概览 仪表板 视图 数据集 数据源 本地模式基于 Apache Doris 和 Kettle ⽀持多数据集关联 ⽀持数据集字段计算 ⽀持定时同步 直连模式 本地模式 多图库⽀持 可视化配置多种属性与样式 ⽀持指标计算与过滤规则 ⽀持多级下钻 ECharts 图库 AntV SQL 数据集 Excel 数据集 数据查询 数据分析 数据挖掘 数据图表 仪表板编辑 仪表板分享 仪表板收藏 仪表板模板 ETL 数据服务 Kettle Apache Doris 功能架构 直连模式 关联数据集 API 数据集 DataEase ⼯作原理 数据源 DataEase ⽀持常⻅的数据源，更多数据源⽀持持续增加中 DataEase 核⼼概念 数据集 核⼼概念 开源开放 零⻔槛，线上快速获取和安装， 快速获取⽤户反馈、按⽉发布新版本 简单易⽤ 极易上⼿，通过⿏标点击和 拖拽即可完成数据分析 秒级响应 集成 Apache Doris ， 超⼤数据量下秒级查询返回延时 安全分享 ⽀持多种数据分享 ⽅式，确保数据安全 DataEase 的四⼤优势 ⾸⻚ 欢迎导航⻚ DataEase 常⽤⽂档、视频教程、最新动态等内容导航；

注：GitHub Star 数量统计截⽌⾄ 2022 年 6 ⽉ 21 ⽇。 Star 6,000+ DataEase 开源项⽬概览 仪表板 视图 数据集 数据源 本地模式基于 Apache Doris 和 Kettle ⽀持多数据集关联 ⽀持数据集字段计算 ⽀持定时同步 直连模式 本地模式 多图库⽀持 可视化配置多种属性与样式 ⽀持指标计算与过滤规则 ⽀持多级下钻 ECharts 图库 AntV Excel 数据集 ⾃定义数据集 数据查询 数据分析 数据挖掘 数据图表 仪表板编辑 仪表板分享 仪表板收藏 仪表板模板 ETL 数据服务 Kettle Apache Doris 功能架构 直连模式 关联数据集 API 数据集 DataEase ⼯作原理 数据源 DataEase ⽀持常⻅的数据源，更多数据源⽀持持续增加中 DataEase 核⼼概念 数据集 核⼼概念 开源开放 零⻔槛，线上快速获取和安装， 快速获取⽤户反馈、按⽉发布新版本 简单易⽤ 极易上⼿，通过⿏标点击和 拖拽即可完成数据分析 秒级响应 集成 Apache Doris ， 超⼤数据量下秒级查询返回延时 安全分享 ⽀持多种数据分享 ⽅式，确保数据安全 DataEase 的四⼤优势 ⾸⻚ 欢迎导航⻚ DataEase常⽤⽂档、视频教程、更新⽇志等内容导航；

注：GitHub Star 数量统计截⽌⾄ 2022 年 12 ⽉ 12 ⽇。 Star 8,400+ DataEase 开源项⽬概览 仪表板 视图 数据集 数据源 本地模式基于 Apache Doris 和 Kettle ⽀持多数据集关联 ⽀持数据集字段计算 ⽀持定时同步 直连模式 本地模式 多图库⽀持 可视化配置多种属性与样式 ⽀持指标计算与过滤规则 ⽀持多级下钻 ECharts 图库 AntV SQL 数据集 Excel 数据集 数据查询 数据分析 数据挖掘 数据图表 仪表板编辑 仪表板分享 仪表板收藏 仪表板模板 ETL 数据服务 Kettle Apache Doris 功能架构 直连模式 关联数据集 API 数据集 DataEase ⼯作原理 数据源 DataEase ⽀持常⻅的数据源，更多数据源⽀持持续增加中 DataEase 核⼼概念 数据集 核⼼概念 开源开放 零⻔槛，线上快速获取和安装， 快速获取⽤户反馈、按⽉发布新版本 简单易⽤ 极易上⼿，通过⿏标点击和 拖拽即可完成数据分析 秒级响应 集成 Apache Doris ， 超⼤数据量下秒级查询返回延时 安全分享 ⽀持多种数据分享 ⽅式，确保数据安全 DataEase 的四⼤优势 ⾸⻚ 欢迎导航⻚ DataEase 常⽤⽂档、视频教程、最新动态等内容导航；

注：GitHub Star 数量统计截⽌⾄ 2023 年 04 ⽉ 30 ⽇。 Star 10,600+ DataEase 开源项⽬概览 仪表板 视图 数据集 数据源 本地模式基于 Apache Doris 和 Kettle ⽀持多数据集关联 ⽀持数据集字段计算 ⽀持定时同步 直连模式 本地模式 多图库⽀持 可视化配置多种属性与样式 ⽀持指标计算与过滤规则 ⽀持多级下钻 ECharts 图库 AntV SQL 数据集 Excel 数据集 数据查询 数据分析 数据挖掘 数据图表 仪表板编辑 仪表板分享 仪表板收藏 仪表板模板 ETL 数据服务 Kettle Apache Doris 功能架构 直连模式 关联数据集 API 数据集 DataEase ⼯作原理 数据源 DataEase ⽀持常⻅的数据源，更多数据源⽀持持续增加中 DataEase 核⼼概念 数据集 核⼼概念 开源开放 零⻔槛，线上快速获取和安装， 快速获取⽤户反馈、按⽉发布新版本 简单易⽤ 极易上⼿，通过⿏标点击和 拖拽即可完成数据分析 秒级响应 集成 Apache Doris ， 超⼤数据量下秒级查询返回延时 安全分享 ⽀持多种数据分享 ⽅式，确保数据安全 DataEase 的四⼤优势 ⾸⻚ 欢迎导航⻚ DataEase 常⽤⽂档、视频教程、最新动态等内容导航；