SelectDB案例 从 ClickHouse 到 Apache Doris目前 更擅长处理宽表场景,无区别将所有数据导入大宽表生成天的分区将造成存储资源 的浪费,维护成本也将随之升高。 应用层:ClickHouse 采用的是计算和存储节点强耦合的架构,架构复杂,组件依赖 严重,牵一发而动全身,容易出现集群稳定性问题,对于我们来说,同时维护 ClickHouse 和 Elasticsearch 两套引擎的连接与查询,成本和难度都比较高。 除此之外,ClickHouse 架构非常简单,只有 FE 和 BE 两类进程,不依赖其他组件,并通过一致性协议来保 证服务的高可用和数据的高可靠,自动故障修复,运维起来比较容易; 高度兼容 MySQL 语法,支持标准 SQL,极大降低开发人员接入使用成本; 支持多种联邦查询方式,支持对 Hive、MySQL、Elasticsearch 、Iceberg 等组件的 联邦查询分析,降低多数据源查询复杂度。 通过以上的方式,使得存储成本降低 通过以上的方式,使得存储成本降低 42%,开发与时间成本降低了 40% ,成功实现降本提 效,后续我们将继续探索! 未来规划 未来我们还将继续进行迭代和优化,我们计划在以下几个方向进行探索: 实现自动识别冷热数据,用 Apache Doris 存储热数据,Iceberg 存储冷数据,利用 Doris 湖仓一体化能力简化查询。 对高频出现的标签/指标组合,通过 Doris 的物化视图进行预计算,提升查询的性能。0 码力 | 12 页 | 1.55 MB | 1 年前3
百度智能云 Apache Doris 文档。 本文档是离线的SQL手册,详细介绍SQL的语法。 注释 Doris支持SQL注释 单行注释: 以--开头的语句会被识别成注释并且被忽略掉。单行注释可以独立成行或者出现在其他语句的部分语句或者完整 语句之后。 多行注释:'/*' 和'*/'之间的文本会被识别成注释并且被忽略掉。多行注释可以单独占据单行或多行,或者出现在其他语句 的中间,前面或者后面。 举例: 语法帮助 DML Keywords Keywords VERSION Description Description 功能:返回当前MySQL的版本号。这仅仅是用户兼容一些 MySQL 客户端,并不指代 Doris 中任务组件的版本。 返回值:string类型 Example Example Keywords Keywords 时间和日期函数 sleep sleep((int int n n)) mysql0 码力 | 203 页 | 1.75 MB | 1 年前3
Doris的数据导入机制以及原子性保证(Obsever,JAVA) BE (C++) BE (C++) BE (C++) BE (C++) 整体架构简单,产品易用 • 高度兼容MySQL协议 • 主从架构,不依赖任何其他组件 • FE负责解析/生成/调度查询计划 • BE负责执行查询计划、数据存储 • 任何节点都可线性扩展 01 Doris 简介 导入的问题 02 典型应用场景——OLAP分析 数据源 数据应用0 码力 | 33 页 | 21.95 MB | 1 年前3
Apache Doris 在美团外卖数仓中的应用实践Mesa(数据模型)、Apache Impala(MPP Query Engine)和Apache ORCFile (存储格式,编码和压缩)的技术。 Doris的系统架构如下,主要分为FE和BE两个组件,FE主要负责查询的解析、编译、优化、调度 和元数 据管理;BE主要负责查询的执行和数据存储。关于Doris的更多技术细节,可参考其官方文档。 Doris的特点: 同时支持高并发点查询和高吞吐的Ad-hoc查询。0 码力 | 8 页 | 429.42 KB | 1 年前3
共 4 条
- 1













