SelectDB案例 从 ClickHouse 到 Apache Doris为了实现少量标签、指标名称修改,我们用 MySQL 表存储相应的元数据,包括名 称、全局唯一的 ID 和上下架状态等信息,比如标签歌曲名称 song_name 的 ID 为 4,在 Doris 中存储命名为 a4,用户使用更具有业务含义 song_name 进行查询。在 查询 Doris 前,我们会在查询层将 SQL 改写成具体的列名 a4。这样名称的修改只 是修改其元数据,底层 Doris 的表结构可以保持不变。 为了实现标签灵活上下架,我们通过统计标签的使用情况来分析标签的价值,将低 价值的标签进入下架流程。下架指的是对元信息进行状态标注,在下架标签重新上 架之前,不会继续导入其数据,元信息中数据可用时间也不会发生变化。 对于实时新增标签/指标,我们基于名称 ID 的映射在 Doris 表中预先创建适量 ID 列,当标签/指标完成元信息录入后,直接将预留的 ID 分配给新录入的标签/指标, 避免在查询高峰期因新增标签/指标所引起的 避免在查询高峰期因新增标签/指标所引起的 Schema Change 开销对集群产生的 影响。经测试,用户在元信息录入后 10 分钟内就可以使用相应的数据。 值得关注的是,在社区近期发布的 1.2.0 版本中,增加了 Light Schema Change 功能, 对 于增减列的操作不需要修改数据文件,只需要修改 FE 中的元数据,从而可以实现毫秒级的 Schame Change 操作。同时开启 Light Schema0 码力 | 12 页 | 1.55 MB | 1 年前3
Doris的数据导入机制以及原子性保证高度集成,不依赖于外部存储系统 • 架构优雅,单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询,100台集群可达10w QPS • 流式导入单节点100MB/s,小批量导入毫 秒延迟 • 数据、元数据高可用,线上稳定服务6年 • 机器故障副本自动迁移 01 Doris简介 MySQL Tools (MySQL Networking) FE (Leader,JAVA) FE (Follower 事务管理 1.Begin Txn 3.汇报导入 4. publish 5. publish 回调 生效数据 V1 V2 Vn+1 … Vn Publish • 修改BE元数据,数据版本 +1 • 修改FE元数据, 数据版本 +1 • 事务状态改为 VISIBLE Phase 2 03 Doris 中的导入 BE FE Leader Analyzer BE BE FE com/apache/incubator-doris 欢迎关注Doris微信公众号 更多技术趋势、实践案例、社区活动 欢迎登陆百度智能云官网,体验企业级托管版本Palo 全新UI支持,更有新用户0元三个月优惠活动 Thank You0 码力 | 33 页 | 21.95 MB | 1 年前3
百度智能云 Apache Doris 文档SQL操作符是一系列用于比较的函数,这些操作符广泛的用于select 语句的where从句中。 算数操作符 算数操作符 算术操作符通常出现在包含左操作数,操作符,(大部分情况下)右操作数组成的表达式中。 +和-:可以作为单元或2元操作符。当其作为单元操作符时,如+1, -2.5 或者-col_name, 表达的意思是该值乘以+1或者- 1。因此单元操作符+返回的是未发生变化的值,单元操作符-改变了该值的符号位。用户可以将两个单元操作符叠加起来, 面的语句是注释(用户在是可以使用两个-号的,此时需要在两个-号之间加上空格或圆括号,如-(-2)或者- -2,这两个数实际 Baidu 百度智能云文档 SQL手册 7 表达的结果是+2)。+或者-作为2元操作符时,例如2+2,3+1.5 或者col1 + col2,表达的含义是左值相应的加或者减去右 值。左值和右值必须都是数字类型。 *和/: 分别代表着乘法和除法。两侧的操作数必须都是数据类型。当 的意思,和!=的功能是一样的。IN和BETWEEN操作符提供更简短的表达来描述相等、小于、大小等关系的比较。 In操作符 In操作符 in操作符会和VALUE集合进行比较,如果可以匹配该集合中任何一元素,则返回TRUE。参数和VALUE集合必须是可比较的。所 有使用in操作符的表达式都可以写成用OR连接的等值比较,但是IN的语法更简单些,更精准,更容易让Doris进行优化。 举例: Like操作符0 码力 | 203 页 | 1.75 MB | 1 年前3
Apache Doris 在美团外卖数仓中的应用实践Impala(MPP Query Engine)和Apache ORCFile (存储格式,编码和压缩)的技术。 Doris的系统架构如下,主要分为FE和BE两个组件,FE主要负责查询的解析、编译、优化、调度 和元数 据管理;BE主要负责查询的执行和数据存储。关于Doris的更多技术细节,可参考其官方文档。 Doris的特点: 同时支持高并发点查询和高吞吐的Ad-hoc查询。 同时支持离线批量导入和实时数据导入。 整个Colocate Join在Doris中实现的关键点如下: 数据导入时保证数据本地性。 查询调度时保证数据本地性。 数据Balance后保证数据本地性。 查询Plan的修改。 Colocate Table元数据的持久化和一致性。 Hash Join的粒度从Server粒度变为Bucket粒度。 Colocate Join的条件判定。 关于Doris Colocate Join的更多实现细节,可以参考《Apache0 码力 | 8 页 | 429.42 KB | 1 年前3
共 4 条
- 1













