ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践 ## 2023 /02/20 SelectDB 用户案例 导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从1.0演进到了4.0，经历了分析引擎从ClickHouse到Apache Doris的替换、经历了数据架构 中进行，内容库数据平台的数据加工链路同样是在腾讯数据仓库 TDW 上构建的。截止目前，内容库数据平台的数据架构已经从 1.0 演进到了 4.0，经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层的初步引入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收益显著。接下来将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考。 jpg) 基于架构 1.0 存在的问题和 ClickHouse 的局限性，我们尝试对架构进行优化升级，将分析引擎 ClickHouse 切换为 Doris，Doris 具有以下的优势： ## Apache Doris 的优势： - Doris 架构极简易用，部署只需两个进程，不依赖其他系统，运维简单；兼容 MySQL 协议，并且使用标准 SQL。 支持丰富的数据模型，可满足多种数据更新方式，支持部分列更新。

## DORIS 文档  ## 目录 目录 SQL手册 数据类型 字面常量 SQL操作符 别名 SQL手册 注释 语法帮助 DML DDL 信息查看语句 辅助命令 账户管理 内置函数 Bitmap函数 HLL函数 窗口函数 哈希函数 ## SQL手册 数据类型 TINYINT数据类型 长度: 长度为1个字节的有符号整型。 范围：[-128, 127] 转换：Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数可以将其转换成CHAR。 ## 举例: mysql> select cast(100 as char); +----------------+ +----------------+ 1 row in set (0.00 sec) ## SMALLINT数据类型 长度: 长度为2个字节的有符号整型。 范围: [-32768, 32767] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数可以将其转换成TINYINT, CHAR。 举例: mysql> select cast(10000 as char);

## Apache Doris在美团外卖数仓中的应用实践 ## 序言 美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。 大家有所启发或者帮助。 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下，各种数据引擎百花齐放，但由于业务的复杂性与多样性，目前并没有哪个引擎能够适配所有业务场景，因此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数据应用效率最大化，同时兼顾研发、生产与运维成本的最小化，建设持续进步的数仓能力，也欢迎大家多给我们提出建议。 ## ，仍然是资源的短板。因此，高频的大规模汇总统计，并发能力将面临较大挑战，这取决于集群硬件方面的并行计算能力。传统去重算法需要大量计算资源，实时的大规模去重指标对CPU、内存都是一个巨大挑战。目前Doris最新版本已经支持Bitmap算法，配合预计算可以很好地解决去重应用场景。 ## 业务模型适配 MOLAP：当业务分析维度相对固化，并在可以使用历史状态时，按照时间进行增量生产，加工成本呈线性增长

## Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer  ## 01 ## Doris简介 ## 系统定位 • 基于MPP（大规模并行处理）架构的分析型数据库 • 性能卓越，PB级别数据毫秒/秒级响应 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 由百度自研，2017年开源，2018年贡献给Apache社区后更名为 Apache Doris 百度内部统称其为“百度数据仓库Palo”，同时百度云上提供Palo的企业级托管版本 ## 发展历程 ![Image](/uploads/documents/0/1/5/2/01525fea83a74444259958fe4de89db4/p5_2 率从天级提升至分钟级 ## 2009 - 进行了通用化改造，开始承接公司内部其他报表系统 - 助力百度统计成为国内最大的中文网站分析工具 ## 2012 - 随百度业务飞速发展，对Doris的性能、可用性、拓展性进行了全面升级 承担百度所有统计报表业务 03 ![Image](/uploads/documents/0/1/5/2/01525fea83a74444259958fe4de89db4/p6_2

Apache OFBiz $ ^{®} $ The Apache OFBiz Project Version Trunk ## Table of Contents 1. System requirements ..... 2 2. Quick start ..... 3 2.1. Download the Gradle wrapper: ..... 3 2.2. Prepare file in ASCIIDoc format you may want to see it at HTML or PDF format Welcome to Apache OFBiz! A powerful top level Apache software project. OFBiz is an Enterprise Resource Planning (ERP) System written reading section. ### 3. Security If you find a security issue, please report it to: security @ ofbiz.apache.org. Once proper mitigations to the security issues are complete the OFBiz team will disclose this

## THE APACHE SOFTWARE FOUNDATION # 解读Apache 演讲者 Craig Russell Justin Mclean 姜宁 # 本演讲包含了 Bertrand Delacretaz, Roman Shaposhnik 以及其它ASF贡献者的工作 ## Craig Russell介绍 • 软件架构师 ■ Object Data Management Group (MySQL) • Apache Committer - from 2005 • Apache Member - from 2007 • Apache Secretary - from 2010-2019 • Apache 孵化器管理委员成员 • Apache 董事会主席 ## Apache 软件基金会: 世界上最大的开源基金会 ## Apache基金会的使命 Apache软基金会 (ASF) 501(c)(3) 注册公益性组织。ASF 的使命是通过向加入 ASF 的志同道合的软件项目社区提供服务，为公众提供开源软件。 ASF提供了一个独立于任何公司影响力的中立空间，保证其中的项目可以在商业友好Apache许可证2.0下繁荣发展，为公众利益创建开源软件。 公开成立于1999年的公益组织 使命: 为公众利益提供免费的软件。 ![Image](/uploads/documents/c/6/7/4/c

### THE APACHE $ ^{®} $ SOFTWARE FOUNDATION apache.org ## Apache Explained Presented by Roman Shaposhnik Craig Russell Justin Mclean Including original work of Bertrand Delacretaz and other Cloudera → Apache Committer - from 2010 → Apache Member - from 2014 → Apache Board Member and VP of Legal Affairs - from 2018 → Member, Incubator Project Management Committee, Bigdata ## Apache Software Software Foundation: The World’s Largest Open Source Foundation ## The ASF's Mission The Apache Software Foundation (ASF) is a US 501(c)(3) charitable organization. Its mission is to provide Open Source

## THE APACHE SOFTWARE FOUNDATION ## Apache Explained Presented by Craig Russell Justin Mclean Willem Jiang Including original work of Bertrand Delacretaz, Roman Shaposhnik and other amazing ASF contributors (MySQL) • Apache Committer - from 2005 • Apache Member - from 2007 • Apache Secretary - 2010 - 2019 • Member, Incubator Project Management Committee • Chairman, Apache Board of Directors ## Apache Software Software Foundation: The World's Largest Open Source Foundation ## The ASF's Mission The Apache Software Foundation (ASF) is a US 501(c)(3) charitable organization. Its mission is to provide Open

Apache OFBiz $ ^{®} $ The Apache OFBiz Project Version Trunk ## Table of Contents 1. System requirements ..... 2 2. Quick start ..... 3 2.1. Download the Gradle wrapper: ..... 3 2.2. Prepare file in ASCIIDoc format you may want to see it at HTML or PDF format Welcome to Apache OFBiz! A powerful top level Apache software project. OFBiz is an Enterprise Resource Planning (ERP) System written reading section. ### 3. Security If you find a security issue, please report it to: security @ ofbiz.apache.org. Once proper mitigations to the security issues are complete the OFBiz team will disclose this

使用Apache SkyWalking APM 监控 Apache ServiceComb 吴晟 Sheng Wu Huawei DevCloud http://skywalking.io Twitter @AsfSkyWalking Skywalking ## 个人介绍 * GitHub: https://github.com/wu-sheng * Personal Homepage: Homepage: https://wu-sheng.github.io/me/ $ ^{*} $ Apache SkyWalking creator, PPMC member and Committer * 2018 Microsoft MVP * OpenTracing OTSC & OTAIB member * W3C Trace Context specification member 演讲：SkyWalking的发展之路——从无名小卒到拥抱全球 中国开源项目的全球化，起步难，而且苦难重重。在OSS这个领域，国内更是很少涉猎，那么SkyWalking是怎么样从第一行代码，慢慢成长为如今的Apache将化器项目，从CNCF OpenTracing到W3C trace context标准，都有SkyWalking的身影，在刚刚的美国之行中，更是得到Google、Microsoft、Zipkin、AppDynamic、New