ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践 ## 2023 /02/20 SelectDB 用户案例 导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从1.0演进到了4.0，经历了分析引擎从ClickHouse到Apache Doris的替换、经历了数据架构语义层 中进行，内容库数据平台的数据加工链路同样是在腾讯数据仓库 TDW 上构建的。截止目前，内容库数据平台的数据架构已经从 1.0 演进到了 4.0，经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层的初步引入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收益显著。接下来将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考。 jpg) 基于架构 1.0 存在的问题和 ClickHouse 的局限性，我们尝试对架构进行优化升级，将分析引擎 ClickHouse 切换为 Doris，Doris 具有以下的优势： ## Apache Doris 的优势： - Doris 架构极简易用，部署只需两个进程，不依赖其他系统，运维简单；兼容 MySQL 协议，并且使用标准 SQL。 支持丰富的数据模型，可满足多种数据更新方式，支持部分列更新。

## DORIS 文档  ## 目录 目录 SQL手册 数据类型 字面常量 SQL操作符 别名 SQL手册 注释 语法帮助 DML DDL 信息查看语句 辅助命令 账户管理 内置函数 Bitmap函数 HLL函数 窗口函数 哈希函数 ## SQL手册 数据类型 TINYINT数据类型 长度: 长度为1个字节的有符号整型。 范围：[-128, 127] 转换：Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数可以将其转换成CHAR。 ## 举例: mysql> select cast(100 as char); +----------------+ +----------------+ 1 row in set (0.00 sec) ## SMALLINT数据类型 长度: 长度为2个字节的有符号整型。 范围: [-32768, 32767] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数可以将其转换成TINYINT, CHAR。 举例: mysql> select cast(10000 as char);

## Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer  ## 01 ## Doris简介 ## 系统定位 • 基于MPP（大规模并行处理）架构的分析型数据库 • 性能卓越，PB级别数据毫秒/秒级响应 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 由百度自研，2017年开源，2018年贡献给Apache社区后更名为 Apache Doris 百度内部统称其为“百度数据仓库Palo”，同时百度云上提供Palo的企业级托管版本 ## 发展历程 ![Image](/uploads/documents/0/1/5/2/01525fea83a74444259958fe4de89db4/p5_2 率从天级提升至分钟级 ## 2009 - 进行了通用化改造，开始承接公司内部其他报表系统 - 助力百度统计成为国内最大的中文网站分析工具 ## 2012 - 随百度业务飞速发展，对Doris的性能、可用性、拓展性进行了全面升级 承担百度所有统计报表业务 03 ![Image](/uploads/documents/0/1/5/2/01525fea83a74444259958fe4de89db4/p6_2

## Apache Doris在美团外卖数仓中的应用实践 ## 序言 美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。 大家有所启发或者帮助。 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下，各种数据引擎百花齐放，但由于业务的复杂性与多样性，目前并没有哪个引擎能够适配所有业务场景，因此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数据应用效率最大化，同时兼顾研发、生产与运维成本的最小化，建设持续进步的数仓能力，也欢迎大家多给我们提出建议。 ## ，仍然是资源的短板。因此，高频的大规模汇总统计，并发能力将面临较大挑战，这取决于集群硬件方面的并行计算能力。传统去重算法需要大量计算资源，实时的大规模去重指标对CPU、内存都是一个巨大挑战。目前Doris最新版本已经支持Bitmap算法，配合预计算可以很好地解决去重应用场景。 ## 业务模型适配 MOLAP：当业务分析维度相对固化，并在可以使用历史状态时，按照时间进行增量生产，加工成本呈线性增长

7751205852300|550|13593| |21|tencentyun/qcloud-documents|1458.6199483344500|1736|232| |22|apache/incubator-doris|1360.2758552459300|2037|2530| |23|alibaba/canal|1318.7773231110300|5667|1408| |24|PaddlePaddle/Paddle-Lite|1310 |4|apache/dubbo|1907.2779679868600|5044|4| |5|apache/skywalking|1886.7815310808000|3880|5| |6|apache/incubator-doris|1360.2758552459300|2037|2| |7|apache/incubator-shenyu|1323.5012404827600|3209|3| |8|apache/rocketmq|1289 attribution risk of open source projects 开源项目代码公开透明，可能会存在多个下游供应商基于上游社区技术进行各自的商业化开发，这会导致开源项目技术归属出现争议。Apache Doris 和 StarRocks（原 DorisDB）就存在由于开源技术归属引发的矛盾： Open source projects are open and transparent, and there

7751205852300|550|13593| |21|tencentyun/qcloud-documents|1458.6199483344500|1736|232| |22|apache/incubator-doris|1360.2758552459300|2037|2530| |23|alibaba/canal|1318.7773231110300|5667|1408| |24|PaddlePaddle/Paddle-Lite|1310 |20|pingcap/docs-cn|91|2386|5100|2215| |21|tencentyun/qcloud-documents|49|3323|8|2973| |22|apache/incubator-doris|804|1047|1782|909| |23|alibaba/canal|538|63|10|29| |24|PaddlePaddle/Paddle-Lite|283|2099|2126|1618| |4|apache/dubbo|1907.2779679868600|5044| |5|apache/skywalking|1886.7815310808000|3880| |6|apache/incubator-doris|1360.2758552459300|2037| |7|apache/incubator-shenyu|1323.5012404827600|3209| |8|apache/rocketmq|1289

图库 视图 多图库支持 可视化配置多种属性与样式 支持指标计算与过滤规则 支持多级下钻 直连模式 角色与权限 本地模式 数据集 日志审计 本地模式基于 Apache Doris 和 Kettle 支持多数据集关联 支持数据集字段计算 支持定时同步  数据源 ## 功能架构 数据库数据集 SQL 数据集 数据服务 Excel 数据集 关联数据集 Apache Doris API 数据集 数据查询 数据集 仪表板编辑 数据分析 仪表板分享 数据挖掘 数据图表 仪表板收藏 仪表板模板 仪表板 ## DataEase 核心概念 ## FIT2CLOUD elasticsearch  ClickHouse DORIS  ![Image](/upl

图库 视图 多图库支持 可视化配置多种属性与样式 支持指标计算与过滤规则 支持多级下钻 直连模式 角色与权限 本地模式 数据集 日志审计 本地模式基于 Apache Doris 和 Kettle 支持多数据集关联 支持数据集字段计算 支持定时同步  数据源 ## 功能架构 数据库数据集 SQL 数据集 数据服务 Excel 数据集 关联数据集 Apache Doris API 数据集 数据查询 数据集 仪表板编辑 数据分析 仪表板分享 数据挖掘 数据图表 仪表板收藏 仪表板模板 仪表板 ## DataEase 核心概念 ## FIT2CLOUD elasticsearch  ClickHouse DORIS  ![Image](/upl

图库 视图 多图库支持 可视化配置多种属性与样式 支持指标计算与过滤规则 支持多级下钻 直连模式 角色与权限 本地模式 数据集 日志审计 本地模式基于 Apache Doris 和 Kettle 支持多数据集关联 支持数据集字段计算 支持定时同步  数据源 ## 功能架构 数据库数据集 SQL 数据集 数据服务 Excel 数据集 关联数据集 Apache Doris API 数据集 数据查询 数据集 仪表板编辑 数据分析 仪表板分享 数据挖掘 数据图表 仪表板收藏 仪表板模板 仪表板 ## DataEase 核心概念 ## FIT2CLOUD elasticsearch  ClickHouse DORIS  ![Image](/upl

图库 角色与权限 视图 多图库支持 可视化配置多种属性与样式 支持指标计算与过滤规则 支持多级下钻 日志审计 直连模式 本地模式 数据集 本地模式基于 Apache Doris 和 Kettle 支持多数据集关联 单点登录 支持数据集字段计算 支持定时同步 amazon REDSHIFT ClickHouse MySQL $ ^{TM} $ Excel 3f741a3001dae/p10_1.jpg) 数据源 ## 功能架构 数据库数据集 SQL 数据集 Excel 数据集 数据服务 自定义数据集 关联数据集 Apache Doris API 数据集 数据集 数据查询 仪表板编辑 数据分析 仪表板分享 数据挖掘 仪表板收藏 数据图表 仪表板模板 仪表板 ## DataEase 核心概念 ## FIT2CLOUD 的四大优势 ## 开源开放 零门槛，线上快速获取和安装， 快速获取用户反馈、按月发布新版本 ## 简单易用 极易上手，通过鼠标点击和拖拽即可完成数据分析 ## 秒级响应 集成 Apache Doris， 超大数据量下秒级查询返回延时 ## 安全分享 支持多种数据分享 方式，确保数据安全 ## DataEase 功能列表 ## FIT2CLOUD 飞致云

0 码力 | 27 页 | 10.32 MB | 1 年前

3

共 49 条

• 1
• 2
• 3
• 4
• 5

前往

页

相关搜索词

Apache DorisClickHouse架构升级数据模型联邦查询Routine LoadCREATE TABLEBACKUPREPOSITORYLOADDoris数据导入事务原子性LOAD LABELROLAP模式MOLAP模式Bitmap聚合数仓应用开源生态开发者国家政策商业化国际合作国际影响力技术创新数据可视化DataEase模板市场开源易用性企业版X-Pack数据源