ClickHouse 在苏宁用户画像场景的实践 二〇一九年十月 苏宁科技集团.大数据中心.杨兆辉 1 关亍我  苏宁科技集团大数据中心架构师  曾就职亍中兴通讯10+years ，从事大规模分布式系统研发  10+years C++、Java、Go编程经验，熟悉大数据架构、解决方案  ClickHouse  Github: https://github.com/andyyzh Contents 苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 2 选择ClickHouse的原因 1. 速度快 2. 特性发布快 3. 软件质量高 4. 物化视图 5. 高基数查询 6. 实时聚合分析监控数据，主要使用物化视图技术。  用户画像场景 -- 标签数据的存储、用户画像查询引擎。 7 Contents 苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 8 Bitmap位存储和位计算 每个bit位表示一个数字id，对亍40亿个的用户id，只需要40亿bit位， 约477m大小 = （4

。 该文档 xdoc 格式的源码文件可通过项目的 Git 代码库 来获取。Fork 该源码库，做出更新，然后提交一个 pull request 吧。 你将成为本文档的最佳作者，MyBatis 的用户定会过来查阅的。 当前的国际化版本 当前的国际化版本 MyBatis 的其他语言版本： English Español 日本語 한국어 简体中文 你想使用本地语言来了解MyBatis吗？那就将它翻译成你的母语并提供给我们吧！ BlogMapper.selectBlog", 101); } finally { session.close(); } 诚然这种方式能够正常工作，并且对于使用旧版本 MyBatis 的用户来说也比较熟悉，不过现在有了一种更直白的方式。使用对于给定 语句能够合理描述参数和返回值的接口（比如说BlogMapper.class），你现在不但可以执行更清晰和类型安全的代码，而且还不用担 心易错的字符串字面值以及强制类型转换。 pages as PDF manually or automatically with PDFmyURL url – 这是数据库的 JDBC URL 地址。 username – 登录数据库的用户名。 password – 登录数据库的密码。 defaultTransactionIsolationLevel – 默认的连接事务隔离级别。 作为可选项，你也可以传递属性给数据库驱动。要这样做，属性的前缀为“driver

云原生平台用户手册 ©2023 OpenPie All Rights Reserved. 社区版本 ����� 2 �� PieCloudDB ����� PieCloudDB �������������������� �������������������������������������� �����PieCloudDB ������������������

应用实践 丁晓坤 & 熊峰 一切以用户价值为依归 2 • Clickhouse 的部署与监控管理 • Clickhouse 的应用实践 iData 目录 部署与监控管理 一切以用户价值为依归 3 1 4 部署与监控管理 1 高内存，廉价存储： 单机配置: Memory128G CPU核数24 SATA20T，RAID5 万兆网卡 一切以用户价值为依归 5 部署与监控管理 Shard01 Shard02 Shard03 Load Balancing 一切以用户价值为依归 6 部署与监控管理 1 线性平滑扩容： 扩容： 1.安装新部署新的shard分片机器 2.新shard上创建表结构 3.批量修改当前集群的配置文件增加新的分片 4.名字服务添加节点 一切以用户价值为依归 7 部署与监控管理 1 大批量，少批次 WriteModel BatchSize 100000 10k 9 49 413 NO 一切以用户价值为依归 8 部署与监控管理 1 应用监控-业务指标： 一切以用户价值为依归 9 部署与监控管理 1 服务监控-错误日志： 一切以用户价值为依归 10 部署与监控管理 1 服务监控-请求指标： 一切以用户价值为依归 11 部署与监控管理 1 服务监控-扫描详情： 一切以用户价值为依归 12 部署与监控管理 1 服务监控-响应耗时：

1 从 ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践 2023/02/20SelectDB 用户案例 导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈 选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从 1.0 演进到 了 4.0 ，经历了分析引擎从 ClickHouse 到 Apache 和以音乐为核心的社交娱乐两大服务。腾讯音乐娱乐在中国有着广泛的用户基础，拥有目前 国内市场知名的四大移动音乐产品：QQ 音乐、酷狗音乐、酷我音乐和全民 K 歌，总月活用 户数超过 8 亿。 业务需求 腾讯音乐娱乐拥有海量的内容曲库，包括录制音乐、现场音乐、音频和视频等多种形式。通 过技术和数据的赋能，腾讯音乐娱乐持续创新产品，为用户带来更好的产品体验，提高用户 参与度，也为音乐人和合作伙伴在音乐的制作、发行和销售方面提供更大的支持。 在业务运营过程中我们需要对包括歌曲、词曲、专辑、艺人在内的内容对象进行全方位分析， 高效为业务赋能，内容库数据平台旨在集成各数据源的数据，整合形成内容数据资产（以指 标和标签体系为载体），为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分 析服务。 数据架构演进 TDW 是腾讯最大的离线数据处理平台，公司内大多数业务的产品报表、运营分析、数据挖 掘等的存储和计算都是在 TDW 中进行，内容库数据平台的数据加工链路同样是在腾讯数据

Cassandra在饿了么的实践 1.生产应用 1)用户画像 2)历史订单 3)dt.api 2.Client选择 3.运维和监控 4.性能调优 1.5 node 2.2.4亿+用户数据 3. 100+用户属性 4.每天5000万+数据更新 5.Scheme变更频繁(加字段) 6.99%读延时3-5ms 生产应用-用户画像 1.Sata盘集群 平均响应时间小于80ms 2

目录 Contents 第一章 关于 PingCAP 1L1 PingCAP简介 05 12 创新成果 05 1.3 发展历程 06 1.4 技术标准起草 07 15荣誉1 07 16 代表用户 08 第二章 TiDB 开源分布式关系型数据库 2.1 产品简介。 2.2 TiDB架构图.ee 10 23 核必特性 11 2.4 TiFlash 高性能列式分析引擎 12 25 TiDB企业 一05 1.1 PingCAP 简介 PingCAP 成立于 2015 年，是一家企业级开源分布式数据库厂商，提供包括开源分布式数据库产品、解 决方案与咨询、技术支持与培训认证服务，致力于为全球行业用户提供稳定高效、安全可告、开放兼容 的新型数据基础设施，解放企业生产力，加速企业数字化转型升级。 由PingCAP 创立的分布式关系型数据库 TiDB，为企业关键业务打造，具备 分布式强一致性事务、在 CloudTiDB在GCPIGoogle cloud Platform) 上开放 2019年5月 由-TiDB Biniog 正式开源 二-CNCF 宣布正式将 TiKV 从沙箱项目晋级至化项上 2019年8月 TiDB 用户问答论坛AskTUG正式上线 2019年12月 宣布去原生的混泪工程 Chaos Meshe 正式开源 2020年7月 CNCF 宣布去原生的混沌工程 Chaos Meshe 正式进入CNCF 沙逢托管项目

• 承担百度所有统计报表业务 2012 01 Doris简介 04 05 06 • 全新的数据模型，查询存储 效率大幅提升 • MPP框架，支持分布式计算 2013 • 精简架构、统一用户客户端， 实现高可用 • 正式开始对外提供服务 2015 • 正式开源 • 希望能帮助更多人、让更多 人帮助Doris 2017 • 贡献给Apache社区，更名 为Apache Doris 典型应用场景——OLAP分析 数据源 数据应用 数据存储 对象存储BOS OLTP WEB端日志 移动端日志 本地文件 数据分析 业务应用 实时大屏 多维报表 自助查询 用户画像 Doris 02 导入的问题 Vn Vn Vn Vn V1-Vn-1 02 导入的问题 • 部分数据丢失，产生脏数据 • 数据重复 数据完整性问题 原始数据 导入结果 已生效 Doris 中的导入 03 Doris 中的导入 LABEL 导入任务 的标识 查看对应 导入任务 的执行情 况 用户可以 自定义 防止用户 重复导入 同一批次 数据使用 相同的label Label • 为了保证At-Most-Once 语意， 用户同一批次数据需要使用相同的Label 03 Doris 中的导入 Prepared 事务和两阶段提交 • FE 充当协调者

Confidential πDataCS 优势1 ：全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 是⼀个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题， 是⼤数据技术中的基⽯。让用户可以在不了解分布式底层细节的情况下，开发 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 数据计算。主要解决海量数据的存储和实时计算问题，具备湖仓⼀体化的能⼒， 用户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎，组件少⽽精（All in One），提供3种计算引擎、1种 Lakehouse引擎，1个硬件加速器，应对各种场景的计算，同时也兼容Spark、 Flink等计算任务，保留用户的使用习惯。 ⽣态完善，支持主流的开发语⾔和数据科学⼯具，支持多模数据处理（结构化、 企业可灵活 进⾏扩缩容，随着负载的变化实现⾼效的伸缩，轻松应对 PB级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多 层缓存结构，避免⽹络延迟和数据移动，提⾼计算效率，保 证用户的实时性需求。PieCloudDB针对底层对象存储设计了 ⾼效的⽂件格式，可在节省⽹络请求的同时提⾼计算效率。 全新的优化器「达奇」 PieCloudD

FLOAT数据类型 FLOAT数据类型 长度: 长度为4字节的浮点类型。 范围: -3.40E+38 ~ +3.40E+38。 转换: Doris会自动将FLOAT类型转换成DOUBLE类型。用户可以使用CAST()将其转换成TINYINT, SMALLINT, INT, BIGINT, STRING, TIMESTAMP。 DOUBLE数据类型 DOUBLE数据类型 长度: 长度为8字节的浮点类型。 (0.05 sec) Baidu 百度智能云文档 SQL手册 4 转换: Doris不会自动将DOUBLE类型转换成其他类型。用户可以使用CAST()将其转换成TINYINT, SMALLINT, INT, BIGINT, STRING, TIMESTAMP。用户可以使用指数符号来描述DOUBLE 类型，或通过STRING转换获得。 DECIMAL数据类型 DECIMAL数据类型 DECIMAL[M 00:00:00']。默认的打印形式是’YYYY-MM-DD HH:MM:SS’。 CHAR数据类型 CHAR数据类型 范围: char[(length)]，定长字符串，长度length范围1~255，默认为1。 转换：用户可以通过CAST函数将CHAR类型转换成TINYINT,，SMALLINT，INT，BIGINT，LARGEINT，DOUBLE，DATE或者 DATETIME类型。 mysql> CREATE