SelectDB案例 从 ClickHouse 到 Apache DorisSource 表,单个标签、指 标的最大基数达到了 2 亿+。我们希望将这些数据从 TDW 加速到 Doris 中完成标签画像 和指标的分析。从业务的角度,需要满足以下要求: 实时可用:标签/指标导入以后,需实现数据尽快可用。不仅要支持常规离线导入 T+1 ,同时也要支持实时打标场景。 部分更新:因每个 Source 表由各自 ETL 任务产出对应的数据,其产出时间不一致, 并且每个表只 8 为了更好地表达数据的意义,业务方会有少量修改标签、指标名称的需求。 随着业务需求的变动,标签经常存在上架、下架的情况。 实时新增的标签和指标,用户希望数据尽快可用。 Doris 1.1.3 是不支持对列名进行修改的,如果直接使用指标/标签名称作为列名,则无法满 足上述标签或指标更名的需求。而对于上下架标签的需求,如果直接以 drop/add column 为了实现标签灵活上下架,我们通过统计标签的使用情况来分析标签的价值,将低 价值的标签进入下架流程。下架指的是对元信息进行状态标注,在下架标签重新上 架之前,不会继续导入其数据,元信息中数据可用时间也不会发生变化。 对于实时新增标签/指标,我们基于名称 ID 的映射在 Doris 表中预先创建适量 ID 列,当标签/指标完成元信息录入后,直接将预留的 ID 分配给新录入的标签/指标,0 码力 | 12 页 | 1.55 MB | 1 年前3
Doris的数据导入机制以及原子性保证的中文网站分析工具 2009 • 随百度业务飞速发展,对 Doris的性能、可用性、拓 展性进行了全面升级 • 承担百度所有统计报表业务 2012 01 Doris简介 04 05 06 • 全新的数据模型,查询存储 效率大幅提升 • MPP框架,支持分布式计算 2013 • 精简架构、统一用户客户端, 实现高可用 • 正式开始对外提供服务 2015 • 正式开源 • 希望能帮助更多人、让更多 简单易用 扩展性强 性能卓越 高可用 • 高度兼容MySQL • 支持在线表结构变更 • 支持集群动态伸缩 • 高度集成,不依赖于外部存储系统 • 架构优雅,单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询,100台集群可达10w QPS • 流式导入单节点100MB/s,小批量导入毫 秒延迟 • 数据、元数据高可用,线上稳定服务6年 • 机器故障副本自动迁移0 码力 | 33 页 | 21.95 MB | 1 年前3
Apache Doris 在美团外卖数仓中的应用实践则是并发 较高的业务,需要严格控制查询时效(基本在毫秒级),对于并发不高的业务,允许进行 较大的查询,但也要考虑集群的承受能力。 通过一年来的应用以及Doris的不断改进升级,Doris的高可靠、高可用、高可扩展性也得 到进一步验证,服务稳定可靠。 准实时场景下的应用 离线业务分析大多基于T+1的离线数据,但在营销活动场景下,外卖团队往往需要当日的实时数 据进行业务变化的监控与分析,通常情况下会采用实时流计算来实现。0 码力 | 8 页 | 429.42 KB | 1 年前3
百度智能云 Apache Doris 文档REPOSITORY Description Description 该语句用于创建仓库。仓库用于属于备份或恢复。仅 admin 用户可以创建仓库。 如果指定 ,则该仓库只读,即只能用户恢复操作,不可用户备份操作。 创建操作依赖 Broker 服务进程。而之后的 里需要填写用于 Broker 访问远端仓库的信息。 "in_memory" = "true" "in_memory" = "true" DECIMAL 3. Oracle Baidu 百度智能云文档 SQL手册 63 Oracle Oracle Doris Doris 替换方案 替换方案 不支持 BOOLEAN Oracle可用number(1) 替换boolean CHAR CHAR VARCHAR VARCHAR DATE DATE FLOAT FLOAT 无 TINYINT Oracle可由NUMBER替换0 码力 | 203 页 | 1.75 MB | 1 年前3
共 4 条
- 1













