SelectDB案例 从 ClickHouse 到 Apache Doris和以音乐为核心的社交娱乐两大服务。腾讯音乐娱乐在中国有着广泛的用户基础,拥有目前 国内市场知名的四大移动音乐产品:QQ 音乐、酷狗音乐、酷我音乐和全民 K 歌,总月活用 户数超过 8 亿。 业务需求 腾讯音乐娱乐拥有海量的内容曲库,包括录制音乐、现场音乐、音频和视频等多种形式。通 过技术和数据的赋能,腾讯音乐娱乐持续创新产品,为用户带来更好的产品体验,提高用户 参与度,也为音乐人和合作伙伴在音乐的制作、发行和销售方面提供更大的支持。 形成内容数据资产(以指 标和标签体系为载体),为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分 析服务。 数据架构演进 TDW 是腾讯最大的离线数据处理平台,公司内大多数业务的产品报表、运营分析、数据挖 掘等的存储和计算都是在 TDW 中进行,内容库数据平台的数据加工链路同样是在腾讯数据 仓库 TDW 上构建的。截止目前,内容库数据平台的数据架构已经从 1.0 演进到了 4.00 码力 | 12 页 | 1.55 MB | 1 年前3
Doris的数据导入机制以及原子性保证贡献给Apache社区,更名 为Apache Doris • 截止目前,社区2000+star, Contributor 100+,一线互 联网广泛使用 2018 07 01 Doris简介 产品特性 简单易用 扩展性强 性能卓越 高可用 • 高度兼容MySQL • 支持在线表结构变更 • 支持集群动态伸缩 • 高度集成,不依赖于外部存储系统 • 架构优雅,单集群可水平扩展至200台以上 JAVA) FE (Follower,JAVA) FE (Obsever,JAVA) BE (C++) BE (C++) BE (C++) BE (C++) 整体架构简单,产品易用 • 高度兼容MySQL协议 • 主从架构,不依赖任何其他组件 • FE负责解析/生成/调度查询计划 • BE负责执行查询计划、数据存储 • 任何节点都可线性扩展 01 Doris 简介0 码力 | 33 页 | 21.95 MB | 1 年前3
Apache Doris 在美团外卖数仓中的应用实践Doris在外卖数仓中的应用效率 上图是我们在一个分析项目改造中的评估项目收益,整体在查询效率不变的情况下,生产耗能及 存储成本都有较大收益。 以20台BE+3FE的Doris环境,效率、性能表现情况如下: 支撑数据分析产品数十个以上,整体响应达到ms级。 支持百万、千万级大表关联查询,同时进行维表关联的雪花模型,经过Colocate Join特性优化,可以实现秒级响应。 日级别,基于商家明细现场计算,同时满足汇总及下钻明细查询,查询时效基本都可以控0 码力 | 8 页 | 429.42 KB | 1 年前3
共 3 条
- 1













