Apache Doris 在美团外卖数仓中的应用实践Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com 业务模型适配 MOLAP: 当业务分析维度相对固化,并在可以使用历史状态时,按照时间进行增量生产,加工 成本呈线性增长状态,数据加工到更粗的粒度(如组织单元),减少结果数据量,提高交互效率 。如上图所示,由A模型预计算到B模型,使用Kylin是一个不错的选择。 ROLAP: 当业务分析维度灵活多变或者特定到最 - https://www.iteblog.com 可以看到,当使用Bitmap之后,之前的PV计算过程会大幅简化,现场查询时的 IO、CPU、内存,网络资源也会显著减少,并且不再会随着数据规模而线性增加。 总结与思考 在外卖运营分析的业务实践中,由于业务的复杂及应用场景的不同,没有哪一种数据生产方案能 够解决所有业务问题。数据库引擎技术的发展,为我们提供更多手段提升数据建设方案。实践证 明0 码力 | 8 页 | 429.42 KB | 1 年前3
Doris的数据导入机制以及原子性保证(C++) 整体架构简单,产品易用 • 高度兼容MySQL协议 • 主从架构,不依赖任何其他组件 • FE负责解析/生成/调度查询计划 • BE负责执行查询计划、数据存储 • 任何节点都可线性扩展 01 Doris 简介 导入的问题 02 典型应用场景——OLAP分析 数据源 数据应用 数据存储 对象存储BOS OLTP WEB端日志 移动端日志 本地文件 数据分析0 码力 | 33 页 | 21.95 MB | 1 年前3
百度智能云 Apache Doris 文档如果所有导入表均完成导入,此时 LOAD 的进度为 99% 如果所有导入表均完成导入,此时 LOAD 的进度为 99% 导入进入到最后生效阶段,整个导入完成后,LOAD 的进度才会改为 100%。 导入进度并不是线性的。所以如果一段时间内进度没有变化,并不代表导入没有在执行。 导入任务的类型。Broker load 的 type 取值只有 BROKER。 主要显示了导入的数据量指标 , 和 。用户可以根据第一个数值判断 源数据中的列数比表中的列数多。 在 严格模式 下,源数据被类型转换成了 null。 尝试将 null 值导入不允许为 null 的列。 4. 查看作业执行进度 因为返回结果中 字段显示的进度不是线性的。因此通过这个字段查询进度有时不太方便。此时我们还可以通过 字段中的 来观察作业是否在运行。 正常情况下,运行中的作业, 会大约每 5 秒更新一次,表示已经读取的数据行数。但有时可能因为数据质量0 码力 | 203 页 | 1.75 MB | 1 年前3
共 3 条
- 1













