演进到 了 4.0 ，经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层 的初步引入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等 问题，收益显著。本文将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思 考，希望所有读者从文章中有所启发。 作者：腾讯音乐内容库数据平台 张俊、代凯 腾讯音乐娱乐集团（简称“腾讯 演进到了 4.0 ， 经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层的初步引 入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收 益显著。接下来将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考。 数据架构 1.0 2 如图所示为数据架构 1.0 架构图，分为数仓层、加速层、应用层三部分，数据架构 作为分析引擎， Elasticsearch 作为搜索/圈选引擎。  应用层：根据场景创建 DataSet，作为逻辑视图从大宽表选取所需的标签与指标，同 时可以二次定义衍生的标签与指标。 存在的问题：  数仓层：不支持部分列更新，当上游任一来源表产生延迟，均会造成大宽表延迟， 进而导致数据时效性下降。  加速层：不同的标签跟指标特性不同、更新频率也各不相同。由于 ClickHouse

美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来 的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实 现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于 Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下，各种数据 也需要一定的 迭代工作。 明细数据的交互 业务分析除了宏观数据之外，对明细数据查询也是一种刚需。通常大家会选择MySQL等关系型DB 作为明细数据的快速检索查询，但当业务成长较快时，很快就会遇到性能瓶颈，并且运维成本也 很高。例如，大数据量的同步、新增字段、历史数据更新等操作，它们的维护成本都非常高。 外卖运营业务特点 美团的使命是“帮大家吃得更好，生活更好”。外卖业务为大家提供送餐服务，连接商家与用户， 业务生产方式中，历史数据的回溯失去了参考意义。在所有展现组织机构数据的业务场景中，组 织机构的变化是一个绕不开的技术问题。此外，商家品类、类型等其它维度也存在变化维的问题 。如下图所示： 数据生产面临的挑战 数据爆炸，每日使用最新维度对历史数据进行回溯计算。在Kylin的MOLAP模式下存在如下问题： 历史数据每日刷新，失去了增量的意义。 每日回溯历史数据量大，10亿+的历史数据回溯。 数据计算耗时3

的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 由百度自研，201 频率从天级提升至分钟级 2008 • 进行了通用化改造，开始承 接公司内部其他报表系统 • 助力百度统计成为国内最大 的中文网站分析工具 2009 • 随百度业务飞速发展，对 Doris的性能、可用性、拓 展性进行了全面升级 • 承担百度所有统计报表业务 2012 01 Doris简介 04 05 06 • 全新的数据模型，查询存储 效率大幅提升 • MPP框架，支持分布式计算 100+，一线互 联网广泛使用 2018 07 01 Doris简介 产品特性 简单易用 扩展性强 性能卓越 高可用 • 高度兼容MySQL • 支持在线表结构变更 • 支持集群动态伸缩 • 高度集成，不依赖于外部存储系统 • 架构优雅，单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询，100台集群可达10w QPS • 流式导入单节点100MB/s，小批量导入毫

）。默认的过滤阈值为 1，即素有错误行都可以被 忽略。 对于有要求数据不能够被过滤的业务场景，可以通过设置 会话变量 为 来确保当有数据被过滤掉的 时候， 不会被执行成功。 5. 性能问题 不见使用 方式进行单行的插入。如果必须这样使用，请将多行数据合并到一个 INSERT 语句中进行批量提交。 ROUTINE-LOAD ROUTINE LOAD ROUTINE LOAD 3. 采样窗口内，允许的最大错误行数。必须大于等于0。默认是 0，即不允许有错误行。 采样窗口为 。即如果在采样窗口内，错误行数大于 ，则会导致例行作业被 暂停，需要人工介入检查数据质量问题。 被 where 条件过滤掉的行不算错误行。 4. 是否开启严格模式，默认为关闭。如果开启后，非空原始数据的列类型变换如果结果为 NULL，则会被过滤。指定方 式为： 5. 指定导入作业所使用的时区。默认为使用 列的映射，转换与过滤 文档。 5. 错误数据过滤 Doris 的导入任务可以容忍一部分格式错误的数据。容忍了通过 设置。默认为0，即表示当有一条错误数据 时，整个导入任务将会失败。如果用户希望忽略部分有问题的数据行，可以将次参数设置为 0~1 之间的数值，Doris 会自动 跳过哪些数据格式不正确的行。 关于容忍率的一些计算方式，可以参阅 列的映射，转换与过滤 文档。 6. 严格模式 属性用