的局限性，我们尝试对架构进行优化升级，将分析 引擎 ClickHouse 切换为 Doris，Doris 具有以下的优势： Apache Doris 的优势：  Doris 架构极简易用，部署只需两个进程，不依赖其他系统，运维简单；兼容 MySQL 协议，并且使用标准 SQL。  支持丰富的数据模型，可满足多种数据更新方式，支持部分列更新。  支持对 Hive、Iceberg、Hudi 的分 析师对同一数据的定义不尽相同、定义口径不一致，导致指标和标签缺乏统一管理， 4 这使得数据管理和使用的难度都变高。  Dataset 与物理位置绑定，应用层无法进行透明优化，如果 Doris 引擎出现负载较 高的情况，无法通过降低用户查询避免集群负载过高报错的问题。 数据架构 3.0 针对指标和标签定义口径不统一，数据使用和管理难度较高的问题，我们继续对架构进行升 级。数据架构 对于业务来说，无需耗费过长时间考虑什么场景应选择哪个数据集使用，语义层对 标签和指标透明统一的定义提升了工作效率、降低了使用成本。 存在的问题： 从架构图可知，标签和指标等数据均处于下游位置，虽然标签与指标在语义层被显式定义， 但仍然无法影响上游链路，数仓层有自己的语义逻辑，加速层有自己的导入配置，这样就造 成了数据管理机制的割裂。 数据架构 4.0 在数据架构 3.0 的基础上，我们对语义层进行更深层次的应用，在数据架构

BLE 类 型。如果用户想把表达式结果转换成其他类型，需要用CAST 函数转换。 %：取模操作符。返回左操作数除以右操作数的余数。左操作数和右操作数都必须是整型。 &, |和^：按位操作符返回对两个操作数进行按位与，按位或，按位异或操作的结果。两个操作数都要求是一种整型类型。如 果按位操作符的两个操作数的类型不一致，则类型小的操作数会被提升到类型较大的操作数，然后再做相应的按位操作。在 'M'不会匹配‘MJ’。如果需要确保表达式能够正常work，可以使用一些函数，如upper(), lower(), substr(), trim()。 举例: 比较操作符 比较操作符 比较操作符用来判断列和列是否相等或者对列进行排序。=, !=, <>, <, <=, >, >=可以适用所有数据类型。其中<>符号是不等于 的意思,和!=的功能是一样的。IN和BETWEEN操作符提供更简短的表达来描述相等、小于、大小等关系的比较。 list或者from list中的表、 列、表达式名称后面加上AS alias从句即可。AS关键词是可选的，用户可以直接在原名后面指定别名。如果别名或者其他标志 符和内部关键词同名时，需要在该名称加上``符号。别名对大小写是敏感的。 举例: SQL-手册 Doris提供在线和离线的SQL手册。 在线的SQL手册通过连接Doris后使用help命令查看。如查看如何创建数据库。 本文档是离线的SQL手册，详细介绍SQL的语法。

计算三个月的Cube，需花费几个小时，来计算近 TB的历史数据。另外，应对非预设维度分析，MOLAP模型需要重新进行适配计算，也需要一定的 迭代工作。 明细数据的交互 业务分析除了宏观数据之外，对明细数据查询也是一种刚需。通常大家会选择MySQL等关系型DB 作为明细数据的快速检索查询，但当业务成长较快时，很快就会遇到性能瓶颈，并且运维成本也 很高。例如，大数据量的同步、新增字段、历史数据更新等操作，它们的维护成本都非常高。 。如下图所示： 数据生产面临的挑战 数据爆炸，每日使用最新维度对历史数据进行回溯计算。在Kylin的MOLAP模式下存在如下问题： 历史数据每日刷新，失去了增量的意义。 每日回溯历史数据量大，10亿+的历史数据回溯。 数据计算耗时3小时+，存储1TB+，消耗大量计算存储资源，同时严重影响SLA的稳定性。 预计算的大量历史数据实际使用率低下，实际工作中对历史的回溯80%集中在近1个月左 右，但为了应对所有需求场景，业务要求计算近半年以上的历史。 ：基于实时的大规模并行计算，对集群的要求较高。MPP引擎的核心是通过将数据分散，以实现 CPU、IO、内存资源的分布，来提升并行计算能力。在当前数据存储以磁盘为主的情况下，数据S can需要的较大的磁盘IO，以及并行导致的高CPU，仍然是资源的短板。因此，高频的大规模汇 总统计，并发能力将面临较大挑战，这取决于集群硬件方面的并行计算能力。传统去重算法需要 大量计算资源，实时的大规模去重指标对CPU、内存都是一个巨大挑战。目前Doris最新版本已经

需求场景，上线后数据更新 频率从天级提升至分钟级 2008 • 进行了通用化改造，开始承 接公司内部其他报表系统 • 助力百度统计成为国内最大 的中文网站分析工具 2009 • 随百度业务飞速发展，对 Doris的性能、可用性、拓 展性进行了全面升级 • 承担百度所有统计报表业务 2012 01 Doris简介 04 05 06 • 全新的数据模型，查询存储 效率大幅提升 • MPP框架，支持分布式计算