我们希望对保单、用户数据进行灵活分析，根据用户标签筛选出符合 要求的客户进行精准营销。 原始保单数据百亿+，用户数据数亿，如果用户标签几百个，数据存 储和查询以及分析的压力就会很大，原有系统使用es来保存用户标签 数据。 保单表 用户表 用户行为表 ODPS ES 用户标签表 痛点 • 数据查询慢：每个查询需要5～10分钟； • 数据更新慢：更新数据可能需要数天时间； • 不灵活：用户有新标签需求时，需要提需求给标签开发人员排期开发 不灵活：用户有新标签需求时，需要提需求给标签开发人员排期开发 需求，开发人员开发完再更新到系统中，这时离需求提出可能已经过 去几天，无法及时给到业务人员反馈。 思路 利用clickhouse实时计算的高效性能，对原始数据进行查询分析，从而支 持用户灵活的定义标签并让用户实时得到反馈。 标签平台 clickhouse 保单表 用户表 用户行为表 数据 • 历史保单数据 join 用户数据 join 用户行为数据 • 100+亿行，50+列 • 原有导入数据方式在百亿级数据下会报Too many partitions for single INSERT block的问题 • 数据导入慢 原因： • ck-loader-mr方式对大数据量场景支持不够友好 • 单次插入分区过多 解决方法： 使用clickhouse原生insert format csv 配合linux pipline导入 hadoop fs -cat 'h

(Rider/Spark/WaterDrop) 实时接入 (BSQL/Saber/Flink & ClickHouse JDBC) Applications 用户程序 Flink/JDBC/Go/HTTP 标签圈人 。。。 广告DMP 内容定投 内容分析 日志&Trace 平台 APM ClickHouse as Service v Berserker数据源管理： Ø 建表 Ø 修改表元数据 Ø v 直达ClickHouse的Bulkload稳定性，性能都更佳 Unique Engine v ⽬标：⽀持UpSert，Delete操作，提升查询性能 v 设计：delete on insert Unique Engine v write-write冲突依靠table level lock控制 v write-merge冲突： Unique Engine v 常驻内存模式对内存消耗很⼤

OLAP平台存储引擎 -- 存储时序数据、cube加速数据，应用亍高基数查询、精确去重场景。  运维监控 -- 实时聚合分析监控数据，主要使用物化视图技术。  用户画像场景 -- 标签数据的存储、用户画像查询引擎。 7 Contents 苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 8 Bitmap位存储和位计算 2019-10-02 4 p1 7 2019-10-02 5 p1 8 2019-10-02 5 p2 一张简单的订单明细表 detail_order，如何计算用户的日留存？ 15 标签 SQL 大表join，count distinct 都比较慢，而且容易 OOM! Bitmap应用示例 order_date uv_bitmap 2019-10-01 {1,2 用户画像平台 现有的流程：  ES中定义标签的大宽表  通过Spark关联各种业务数据，插入到ES大 宽表。  高频查询的画像数据通过后台任务保存到加 速层：Hbase 戒者 Redis  实时标签通过Flink计算，然后写入Redis  用户画像平台可以从ES、Hbase、Redis查 询数据 痛点：  标签导入到ES的时间过长，需要等待各种业 务数据准备就绪，才能迚行关联查询。

45% 90 116.30101 31.31673 ... 11 2019/10/11/ 11:00:01 Tom 26 45% 96 121.54794 31.32318 ... 21 INSERT INTO ... ► Row-Orient Database Why we choose it 2019/10/11/ 11:00:01 Tom 26 45% 96 ... 21 Time Time-Series-Orient Model How we do ► Column-Orient Model How we do CREATE TABLE demonstration.insert_view ( `Time` DateTime, `Name` String, `Age` UInt8, ..., `HeartRate` UInt8, `Humidity` toYYYYMM(Time) ORDER BY (Name, Time, Age, ...); ► Column-Orient Model How we do CREATE TABLE demonstration.insert_view ( `Time` DateTime, `Name` LowCardinality(String), `Age` UInt8, ..., `HeartRate`

секунду • Можно использовать Kafka или RabbitMQ таблицы Асинхронные INSERT запросы 15 • Возможность делать много частых INSERT • Из множества параллельных соединений • Без Kafka и без Buffer таблиц CREATE TABLE games (data JSON) ENGINE = MergeTree; • You can insert arbitrary nested JSONs • Types are automatically inferred on INSERT and merge • Data is stored in columnar format: columns and subcolumns

секунду • Можно использовать Kafka или RabbitMQ таблицы Асинхронные INSERT запросы 15 • Возможность делать много частых INSERT • Из множества параллельных соединений • Без Kafka и без Buffer таблиц CREATE TABLE games (data JSON) ENGINE = MergeTree; • You can insert arbitrary nested JSONs • Types are automatically inferred on INSERT and merge • Data is stored in columnar format: columns and subcolumns

Интеграционные тесты: пример hdfs1 node1:9018 192.168.2.1 node2:9018 192.168.2.2 blocade zoo1 zoo2 zoo3 INSERT INTO tt SELECT * FROM hdfs('hdfs://hdfs1:9000/tt', 'TSV') client 31 / 77 Тестирование PartitionManager() as pm: pm.partition_instances(node1, node2, port=9009) #drop connection node1.query("INSERT INTO tt \ SELECT * FROM hdfs('hdfs://hdfs1:9000/tt', 'TSV')") assert_with_retry(node2, "SELECT

data source to Clickhouse in minutes BONUS Time travel history state Create Update Update Delete insert_id id name flag update_time UUID0 2 Bob1 2 2019-10-01 00:00:00 UUID1 2 Bob1.5 2 2019-10-01 12:00:00

GROUP BY 2. JOIN 3. SELECT DISTINCT 44 Хеш-таблица 55 Основные методы 1. lookup O(1) average 2. insert O(1) average 3. erase O(1) average (Не очень важен для наших сценариев) Хеш-таблица 66 Дизайн

支持标准的SQL语法，兼容MySql协议； 2. MPP架构，扩缩容非常简单方便； 3. 支持高并发查询； 4. 跨机房部署，实现最低成本的DR 缺点： 1. 不支持大规模的批处理； 2. 支持insert into，但最理想的是消费Kafka； 全球敏捷运维峰会 广州站 ClickHouse/StarRocks在酒店数据智能平台的架构 全球敏捷运维峰会 广州站 ClickHouse的全量数据同步流程