SelectDB案例 从 ClickHouse 到 Apache DorisDWM 集市层围绕内容对象构建大宽表,从不同主题域 DWS 表中抽取字段。 加速层:在数仓中构建的大宽表导入到加速层中,Clickhouse 作为分析引擎, Elasticsearch 作为搜索/圈选引擎。 应用层:根据场景创建 DataSet,作为逻辑视图从大宽表选取所需的标签与指标,同 时可以二次定义衍生的标签与指标。 存在的问题: 数仓层:不支持部分列更新,当 应用层:ClickHouse 采用的是计算和存储节点强耦合的架构,架构复杂,组件依赖 严重,牵一发而动全身,容易出现集群稳定性问题,对于我们来说,同时维护 ClickHouse 和 Elasticsearch 两套引擎的连接与查询,成本和难度都比较高。 除此之外,ClickHouse 由国外开源,交流具有一定的语言学习成本,遇到问题无法准确反 馈、无法快速获得解决,与社区沟通上的阻塞也是促进我们进行架构升级的因素之一。0 码力 | 12 页 | 1.55 MB | 1 年前3
百度智能云 Apache Doris 文档In操作符 In操作符 in操作符会和VALUE集合进行比较,如果可以匹配该集合中任何一元素,则返回TRUE。参数和VALUE集合必须是可比较的。所 有使用in操作符的表达式都可以写成用OR连接的等值比较,但是IN的语法更简单些,更精准,更容易让Doris进行优化。 举例: Like操作符 Like操作符 该操作符用于和字符串进行比较。_用来匹配单个字符,%用来匹配多个字符。参数必须要匹配完整的字符串。通常,把%放在 面指定别名。如果别名或者其他标志 符和内部关键词同名时,需要在该名称加上``符号。别名对大小写是敏感的。 举例: SQL-手册 Doris提供在线和离线的SQL手册。 在线的SQL手册通过连接Doris后使用help命令查看。如查看如何创建数据库。 本文档是离线的SQL手册,详细介绍SQL的语法。 注释 Doris支持SQL注释 单行注释: 以--开头的语句会被识别成注释并且被忽 Json 数据的根节点。Doris 将通过 json_root 抽取根节点的元素 进行解析。默认为空。 数据源的类型。当前支持: 支持如下数据源属性: 1. Kafka 的 broker 连接信息。格式为 ip:host。多个broker之间以逗号分隔。 2. 指定要订阅的 Kafka 的 topic。 3. 指定需要订阅的 kafka partition,以及对应的每个 partition0 码力 | 203 页 | 1.75 MB | 1 年前3
Apache Doris 在美团外卖数仓中的应用实践瓶颈,并且运维成本也 很高。例如,大数据量的同步、新增字段、历史数据更新等操作,它们的维护成本都非常高。 外卖运营业务特点 美团的使命是“帮大家吃得更好,生活更好”。外卖业务为大家提供送餐服务,连接商家与用户, 这是一个劳动密集型的业务,外卖业务有上万人的运营团队来服务全国几百万的商家,并以“商圈 ”为单元,服务于“商圈”内的商家。“商圈”是一个组织机构维度中的最小层级,源于外卖组织的特 点,0 码力 | 8 页 | 429.42 KB | 1 年前3
共 3 条
- 1













