Doris的数据导入机制以及原子性保证区后更名为 Apache Doris 系统定位 • 百度内部统称其为“百度数据仓库Palo”,同时百度云上提供Palo的企业级托管版本 发展历程 01 02 03 • 1.0版本正式上线 • 应用于百度凤巢统计报表的 需求场景,上线后数据更新 频率从天级提升至分钟级 2008 • 进行了通用化改造,开始承 接公司内部其他报表系统 • 助力百度统计成为国内最大 的中文网站分析工具 语义 Checkpoint Doris中的导入 03 举个例子 • label: 用来标示一次导入的一份数据 • status: 表示数据状态,是否已经生效 • txnId: Doris 内部事务id,用来唯一标示一次导入事务 03 Doris 中的导入 03 Doris 中的导入 LABEL 导入任务 的标识 查看对应 导入任务 的执行情 况 用户可以 自定义 防止用户0 码力 | 33 页 | 21.95 MB | 1 年前3
SelectDB案例 从 ClickHouse 到 Apache Doris1 从 ClickHouse 到 Apache Doris,腾讯音乐内容库数据平台架构演进实践 2023/02/20SelectDB 用户案例 导读:腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈 选等内容分析服务,高效为业务赋能。目前,内容库数据平台的数据架构已经从 1.0 演进到 了 4.0 ,经历了分析引擎从 ClickHouse 到 Apache 的替换、经历了数据架构语义层 的初步引入到深度应用,有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等 问题,收益显著。本文将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思 考,希望所有读者从文章中有所启发。 作者:腾讯音乐内容库数据平台 张俊、代凯 腾讯音乐娱乐集团(简称“腾讯音乐娱乐”)是中国在线音乐娱乐服务开拓者,提供在线音乐 和以音乐为核心的社交娱乐两大服务。腾讯音乐娱乐在中国有着广泛的用户基础,拥有目前 进行全方位分析, 高效为业务赋能,内容库数据平台旨在集成各数据源的数据,整合形成内容数据资产(以指 标和标签体系为载体),为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分 析服务。 数据架构演进 TDW 是腾讯最大的离线数据处理平台,公司内大多数业务的产品报表、运营分析、数据挖 掘等的存储和计算都是在 TDW 中进行,内容库数据平台的数据加工链路同样是在腾讯数据 仓库 TDW0 码力 | 12 页 | 1.55 MB | 1 年前3
Apache Doris 在美团外卖数仓中的应用实践1 / 8 Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com 所得的应用场景,美团平台使用Kylin作为公司的主要MOLAP引擎。MOLAP是预计算生产,在增 量业务,预设维度分析场景下表现良好,但在变化维的场景下生产成本巨大。例如,如果使用最 新商家类型回溯商家近三个月的表现,需要 ickHouse、Druid、TiDB等等,但缺乏实践案例的介绍,所以我们也没有太多的经验可以借鉴。 于是,我们就结合自身业务的需求,从引擎建设成本出发,并立足于公司技术生态融合、集成、 易用性等维度进行综合考虑,作为选型依据,最终我们平台部门选择了2018年刚进入Apache社 区的Doris。 Doris简介及特点 Doris是基于MPP架构的OLAP引擎,主要整合了Google Mesa(数据模型)、Apache Impala(MPP 模式在处理增量业务分析,固化 维度场景,通过预计算以空间换时间方面依然重要。 业务方面,通过外卖数仓Doris的成功实践以及跨BG的交流,美团已经有更多的团队了解并尝试 使用Doris方案。而且在平台同学的共同努力下,引擎性能还有较大提升空间,相信以Doris引擎 为驱动的ROLAP模式会为美团的业务团队带来更大的收益。从目前实践效果看,其完全有替代Kyl in、Druid、ES等引擎的趋势。0 码力 | 8 页 | 429.42 KB | 1 年前3
百度智能云 Apache Doris 文档别名时,只需在select list或者from list中的表、 列、表达式名称后面加上AS alias从句即可。AS关键词是可选的,用户可以直接在原名后面指定别名。如果别名或者其他标志 符和内部关键词同名时,需要在该名称加上``符号。别名对大小写是敏感的。 举例: SQL-手册 Doris提供在线和离线的SQL手册。 在线的SQL手册通过连接Doris后使用help命令查看。如查看如何创建数据库。 百度智能云文档 SQL手册 13 为用户指定的 label 或自动生成的 label。Label 是该 Insert Into 导入作业的标识。每个导入作业,都有一 个在单 database 内部唯一的 Label。 表示导入数据是否可见。如果可见,显示 ,如果不可见,显示 。 为这个 insert 对应的导入事务的 id。 字段会显示一些其他非预期错误。 当需要查看被过滤的行时,用户可以通过如下语句0 码力 | 203 页 | 1.75 MB | 1 年前3
共 4 条
- 1













