Apache Doris 在美团外卖数仓中的应用实践Kylin配置过程繁琐,需要配置模型设计,并配合适当的“剪枝”策略,以实现计算成本与查 询效率的平衡。 3. 由于MOLAP不支持明细数据的查询,在“汇总+明细”的应用场景中,明细数据需要同步到 DBMS引擎来响应交互,增加了生产的运维成本。 4. 较多的预处理伴随着较高的生产成本。 ROLAP模式的优势 1. 应用层模型设计简化,将数据固定在一个稳定的数据粒度即可。比如商家粒度的星形模型 ,同时复用率也比较高。 产耗能及 存储成本都有较大收益。 以20台BE+3FE的Doris环境,效率、性能表现情况如下: 支撑数据分析产品数十个以上,整体响应达到ms级。 支持百万、千万级大表关联查询,同时进行维表关联的雪花模型,经过Colocate Join特性优化,可以实现秒级响应。 日级别,基于商家明细现场计算,同时满足汇总及下钻明细查询,查询时效基本都可以控 制在秒级。 7日趋势分析,2~3秒。由于数据量较大 。从目前实践效果看,其完全有替代Kyl in、Druid、ES等引擎的趋势。 目前,数据库技术进步飞速,近期柏睿数据发布全内存分布式数据库RapidsDB v4.0支持TB级毫 秒响应(处理千亿数据可实现毫秒级响应)。可以预见,数据库技术的进步将大大改善数仓的分 层管理与应用支撑效率,业务将变得“定义即可见”,也将极大地提升数据的价值。 参考资料 Doris文档和源码 Apache Kylin0 码力 | 8 页 | 429.42 KB | 1 年前3
百度智能云 Apache Doris 文档表示导入数据是否可见。如果可见,显示 ,如果不可见,显示 。 为这个 insert 对应的导入事务的 id。 字段会显示一些其他非预期错误。 当需要查看被过滤的行时,用户可以通过如下语句 返回结果中的 URL 可以用于查询错误的数据,具体见后面 查看错误行 查看错误行 小结。 数据不可见是一个临时状态,这批数据最终是一定可见的 数据不可见是一个临时状态,这批数据最终是一定可见的 可以通过如下语句查看这批数据的可见状态: 可以通过如下语句查看这批数据的可见状态: 返回结果中的 列如果为 ,则表述数据可见。 3. 执行失败 执行失败表示没有任何数据被成功导入,并返回如下: 其中 显示失败原因。后面的 url 可以用于查询错误的数据: 可以查看到具体错误行。 2. 超时时间 INSERT 操作的超时时间由 会话变量 控制。默认为5分钟。超时则作业会被取消。 3. Label 和原子性 INSERT 操作同样能够保证导入的原子性,可以参阅 当需要使用 作为 insert 操作中的查询部分时,必须指定 和 部分。 4. 过滤阈值 与其他导入方式不同,INSERT 操作不能指定过滤阈值( )。默认的过滤阈值为 1,即素有错误行都可以被 忽略。 对于有要求数据不能够被过滤的业务场景,可以通过设置 会话变量 为 来确保当有数据被过滤掉的 时候, 不会被执行成功。 5. 性能问题 不见使用 方式进行单0 码力 | 203 页 | 1.75 MB | 1 年前3
SelectDB案例 从 ClickHouse 到 Apache DorisPostgreSQL 等)到 Doris。**** 社区目前 Apache Doris 社区活跃、技术交流更多,SelectDB 针对社区有专职的技 术支持团队,在使用过程中遇到问题均能快速得到响应解决。 同时我们也利用 Doris 的特性,解决了架构 1.0 中较为突出的问题。 数仓层:Apache Doris 的 Aggregate 数据模型可支持部分列实时更新,因此我们去 掉了 任务产出对应的数据,其产出时间不一致, 并且每个表只涉及部分指标或标签,不同数据查询对时效性要求也不同,因此架构 需要支持部分列更新。 性能高效:具备高效的写入能力,且在圈选、洞察、报表等场景可以实现秒级响应。 控制成本:在满足业务需求的前提下,最大程度地降低成本;支持冷热数据精细化 管理,支持标签灵活上下架。 数据导入方案 为了减轻 Doris 写入压力,我们考虑在数据写入 Doris0 码力 | 12 页 | 1.55 MB | 1 年前3
Doris的数据导入机制以及原子性保证导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP(大规模并行处理)架构的分析型数据库 01 Doris简介 • 性能卓越,PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 由百度自研,2017年开源,2018年贡献给Apache社区后更名为 Apache Doris 系统定位 • 百度内部统称其为“百0 码力 | 33 页 | 21.95 MB | 1 年前3
共 4 条
- 1













