ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践 2023/02/20SelectDB 用户案例 导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈 选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从 1.0 演进到 了 4.0 ，经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层 中进行，内容库数据平台的数据加工链路同样是在腾讯数据 仓库 TDW 上构建的。截止目前，内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ， 经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层的初步引 入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收 益显著。接下来将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考。 基于架构 1.0 存在的问题和 ClickHouse 的局限性，我们尝试对架构进行优化升级，将分析 引擎 ClickHouse 切换为 Doris，Doris 具有以下的优势： Apache Doris 的优势：  Doris 架构极简易用，部署只需两个进程，不依赖其他系统，运维简单；兼容 MySQL 协议，并且使用标准 SQL。  支持丰富的数据模型，可满足多种数据更新方式，支持部分列更新。

DORIS 文档 2 3 3 7 7 10 11 11 11 11 45 64 85 88 95 95 101 105 121 124 142 143 144 147 147 181 191 193 202 目录 目录 目录 SQL手册 数据类型 字面常量 SQL操作符 别名 SQL-手册 注释 语法帮助 DML DDL 长度为1个字节的有符号整型。 范围: [-128, 127] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数可以将其转换成CHAR。 举例: SMALLINT数据类型 SMALLINT数据类型 长度: 长度为2个字节的有符号整型。 范围: [-32768, 32767] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数 将其转换成TINYINT，CHAR。 举例: INT数据类型 INT数据类型 长度: 长度为4个字节的有符号整型。 范围: [-2147483648, 2147483647] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数可以将其转换成TINYINT，SMALLINT，CHAR 举例: mysql> select cast(100 as char);

Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com Apache Doris在美团外卖数仓中的应用实践 序言 美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来 的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实 现了低成本生产与高效查询的 现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于 Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下，各种数据 引擎百花齐放，但由于业务的复杂性与多样性，目前并没有哪个引擎能够适配所有业务场景，因 此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数 业务团队日常经营分析最典型的场景就是各种维度下的自定义查询，面对如此灵活可变、所见即 1 / 8 Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com 所得的应用场景，美团平台使用Kylin作为公司的主要MOLAP引擎。MOLAP是预计算生产，在增

Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • • 由百度自研，2017年开源，2018年贡献给Apache社区后更名为 Apache Doris 系统定位 • 百度内部统称其为“百度数据仓库Palo”，同时百度云上提供Palo的企业级托管版本 发展历程 01 02 03 • 1.0版本正式上线 • 应用于百度凤巢统计报表的 需求场景，上线后数据更新 频率从天级提升至分钟级 2008 • 进行了通用化改造，开始承 接公司内部其他报表系统 随百度业务飞速发展，对 Doris的性能、可用性、拓 展性进行了全面升级 • 承担百度所有统计报表业务 2012 01 Doris简介 04 05 06 • 全新的数据模型，查询存储 效率大幅提升 • MPP框架，支持分布式计算 2013 • 精简架构、统一用户客户端， 实现高可用 • 正式开始对外提供服务 2015 • 正式开源 • 希望能帮助更多人、让更多 人帮助Doris 2017

Apache OFBiz® The Apache OFBiz Project Version Trunk Table of Contents 1. System requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . License License Apache 2.0 Apache 2.0 [badge] If you are reading this file in AsciiDoc format you may want to see it at HTML or PDF format Welcome to Apache OFBiz! A powerful top level Apache software project reading section. 3 3. Security If you find a security issue, please report it to: security @ ofbiz.apache.org. Once proper mitigations to the security issues are complete the OFBiz team will disclose this

解读Apache 解读Apache 演讲者 Craig Russell Justin Mclean 姜宁 本演讲包含了 Bertrand Delacretaz, Roman Shaposhnik 以及其 它ASF贡献者的⼯作 Craig Russell介绍 Craig Russell介绍 软件架构师 Object Data Management Group Java Data Objects (MySQL) Apache Committer - from 2005 Apache Member - from 2007 Apache Secretary - from 2010-2019 Apache 孵化器管理委员成员 Apache 董事会主席 Apache 软件基⾦会: Apache 软件基⾦会: 世界上最⼤的开源基⾦会 Apache基⾦会的使命 Apache基⾦会的使命 Apache软基⾦⾦会 Apache软基⾦⾦会 (ASF) 是⼀个根据美国法案 501(c)(3)注册公益性组织。 ASF的使命 是通过向加⼊ASF的志同道合的软件项⽬社区提供服务，为公众提供开源软件。 ASF提供了⼀个独⽴于任何公司影响⼒的中⽴空间，保证其中的 项⽬可以在商业友好Apache许可证2.0下繁荣发展， 为公众利益 创建开源软件。 公开成⽴于1999年的公益组织 公开成⽴于1999年的公益组织 使命:

Apache Explained Presented by Roman Shaposhnik Craig Russell Justin Mclean Including original work of Bertrand Delacretaz and other amazing ASF contributors ➔ Engineer and Entrepreneur ◆ Founder Pivotal Inc. ◆ Ex- Sun microsystems, Huawei, Yahoo!, Cloudera ➔ Apache Committer - from 2010 ➔ Apache Member - from 2014 ➔ Apache Board Member and VP of Legal Affairs - from 2018 ➔ Member, Incubator Management Committee, Bigdata Who is Roman Shaposhnik? Apache Software Foundation: The World’s Largest Open Source Foundation The ASF’s Mission The Apache Software Foundation (ASF) is a US 501(c)(3) charitable

Apache Explained Apache Explained Presented by Craig Russell Justin Mclean Willem Jiang Including original work of Bertrand Delacretaz, Roman Shaposhnik and other amazing ASF contributors Who is Craig Jones (MySQL) Apache Committer - from 2005 Apache Member - from 2007 Apache Secretary - 2010 - 2019 Member, Incubator Project Management Committee Chairman, Apache Board of Directors Apache Software Foundation: Foundation: Apache Software Foundation: The World’s Largest Open The World’s Largest Open Source Foundation Source Foundation The ASF’s Mission The ASF’s Mission The Apache Software Foundation (ASF)

Apache OFBiz® The Apache OFBiz Project Version Trunk Table of Contents 1. System requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . License License Apache 2.0 Apache 2.0 [badge] If you are reading this file in AsciiDoc format you may want to see it at HTML or PDF format Welcome to Apache OFBiz! A powerful top level Apache software project reading section. 3 3. Security If you find a security issue, please report it to: security @ ofbiz.apache.org. Once proper mitigations to the security issues are complete the OFBiz team will disclose this

使⽤Apache SkyWalking APM 监控 Apache ServiceComb 吴晟 Sheng Wu Huawei DevCloud http://skywalking.io Twitter @AsfSkyWalking 个⼈介绍 GitHub： https://github.com/wu-sheng Personal Homepage： https://wu-sheng https://wu-sheng.github.io/me/ Apache SkyWalking creator, PPMC member and Committer 2018 Microsoft MVP OpenTracing OTSC & OTAIB member W3C Trace Context specification member 2017 GSoC(Google Summer of GitHub: https://github.com/apache/incubator-skywalking 安装：https://github.com/apache/incubator- skywalking/blob/master/docs/cn/Quick-start-CN.md ⽀持的插件列表： https://github.com/apache/ incubator-skywalking/