4. ClickHouse在苏宁用户画像场景的实践int),两者之间是Key-Value的 关系。高16位存到short[] keys,通过高16位(Key)找到所对应Container,然后把剩余的低 16位(Value)放入该Container中,RoaringBitmap有三类Container: Array Container Run Container Bitmap Container 10 RoaringBitmap原理介绍 ClickHouse集成Bitmap 用户画像场景实践 17 用户画像原有的流程及痛点 Hive表 商品数据 ElasticSearch 用户数据 交易数据 HBase Redis 第三方… Spark 用户画像平台 现有的流程: ES中定义标签的大宽表 通过Spark关联各种业务数据,插入到ES大 宽表。 高频查询的画像数据通过后台任务保存到加 返回结果 场景描述 场景:限量发放10万张家电类优惠券,先预估出符合条件的用户数。 操作:用户指定标签及标签间的逡辑关系,统计出符合标签逡辑的人数。 标签表达式,包含标签、算术运算符、逡辑运算符、括号。 整形值,表示符合标签表达式的用户人数 例如: 23 user_number 100000 用户画像场景1—预估人数—示例 画像条件 查询SQL 240 码力 | 32 页 | 1.47 MB | 1 年前3
6. ClickHouse在众安的实践084s 0.001s 27 ClickHouse 百亿数据性能测试与优化 • 性能瓶颈在硬盘io,实验验证 • 数据分布在三台服务器上 • 执行涉及到全表数据的查询(cold data,从硬盘读取),处理速度为~24.28million rows/s • 只用到三块硬盘的io:3*140=420mb/s • 数据分布在六台服务器上 • 执行涉及到全表数据的查询(cold data,从硬盘读取),处理速度为~430 码力 | 28 页 | 4.00 MB | 1 年前3
2. ClickHouse MergeTree原理解析-朱凯厦门航空 南京地铁 中煤集团 许继集团 中盐公司 中农发集团 深粮集团 首都图书馆 奇瑞汽车 双汇集团 完达山 珠江投资 国网英大集团 珠海市政府 九三学社 珠海特区报 三峡电能 秦山核电 香港医思医疗 国家能源集团 安徽皖能 南方电网 金川集团 金晶集团 中航集团 比亚迪股份 互联数据资源、为组织数字资产管理运营、数据探索、分析赋能! 数据汇聚0 码力 | 35 页 | 13.25 MB | 1 年前3
共 3 条
- 1













