信息查看语句 辅助命令 账户管理 内置函数 聚合函数 位操作函数 字符串函数 条件函数 数学函数 JSON解析函数 类型转换函数 格式转换函数 通用函数 时间和日期函数 BITMAP函数 HLL函数 窗口函数 哈希函数 Baidu 百度智能云文档 目录 2 SQL手册 数据类型 TINYINT数据类型 TINYINT数据类型 长度: 长度为1个字节的有符号整型。 进行查询或使用。 BITMAP 数据类型 BITMAP 数据类型 BITMAP 类型是一个二进制类型。BITMAP 类型只能用于聚合类型的表（Aggregation Table），并且必须指定聚合类型为 BITMAP_UNION。 BITMAP 类型主要用于精确去重场景下，对数据进行预聚合。同时也可以用于如用户画像场景存放用户ID等。 BITMAP 列只能通过配套的 BITMAP 函数进行查询和使用。 testData，并指定列映射关系 5. 导入本地文件 testData，并指定分区，以及最大容许错误率 6. 使用streaming方式导入 7. 导入含有HLL列的表 8. 导入含有 BITMAP 列的表 9. 导入 Json 数据，使用简单模式。即 Json 数据中的字段名即为列名。 表结构为： Json 数据： 导入命令： 10. 导入 Json 数据，使用 jsonpath

Contributor  Github: https://github.com/andyyzh Contents 苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 2 选择ClickHouse的原因 1. 速度快 2. 特性发布快 3. 软件质量高 4. 物化视图 5. 高基数查询  用户画像场景 -- 标签数据的存储、用户画像查询引擎。 7 Contents 苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 8 Bitmap位存储和位计算 每个bit位表示一个数字id，对亍40亿个的用户id，只需要40亿bit位， 约477m大小 = （4 * 109 / 8 / 1024 / 1024） 仅存储40亿一个数值也需要477m的空间。也就是说稀疏的Bitmap和稠密的占用空间相 同。通常会使用一种bitmap压缩算法迚行优化。 RoaringBitmap是一种已被业界广泛使用的高效的bitmap压缩算法，使用者包括Spark、 Hive、ElasticSearch、Kylin、Druid、InfluxDB等， 详见：http://roaringbitmap.org/ 通过单个bitmap可以完成精确去重操作

特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） 特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 令请求的执⾏行行速度和效率 特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF RDB+AOF 混合） 特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合）

QueryOptimier Column1 DataNode Column2 Column3 ColumnN Column1 DataNode Column2 Column3 ColumnN bitmap 画像下钻分布式计算引擎 多维 提取 iData大数据分析引擎 分布式多维计算引擎 基于位图索引和行式内容存储 分布式画像引擎 基于位图索引和列式内容存储 多维 分析 跟踪 分析 成本低、命中率高 核心特点 Bitmap Filter Builder Dynamic Bitmap Index Cache Bitmap Index Generator Execute Engine Data Mapper Col- 1 Col- 1 Col… Aggregate Merger Executor-1 Bitmap Filter Builder Dynamic Bitmap Index Cache Bitmap Index Generator Execute Engine Data Mapper Col- 1 Col- 1 Col… Aggregate Merger Executor-2 Bitmap Filter Builder Dynamic Bitmap Index Cache Bitmap Index

字段 类型 说明 version uint8_t 文件格式协议 版本号 demaged bool 损坏标记 sn uint64_t 快照版本号 bits uint32_t 位图的位数 bitmap char[] 位图 crc uint32_t 上述字段的crc 校验码 padding / 填0，以补足 4KBCHUNKSERVER端快照实现-写时复制原理  写时复制通常使用版本号实现 快照实现-写时复制  使用copy-on-write  当前写请求的sn > chunk的cur_sn时触发复制  拷贝的单位是一个Page，即4KB  使用snapfile中的bitmap标记复制过的PageCHUNKSERVER端快照实现-转储内部快照 a) 打快照后未写过，未触发cow， 无snap file产生，直接读取chunk file b) 打快照后写过，触发了cow， location占用的字节数 location char[] 可缺省，当前为CloneChunk时表示 克隆源字段 bits uint32_t 可缺省，当前为CloneChunk时表示 bitmap的位数 bitmap char[] 可缺省，位图表 crc uint32_t 上述字段的crc校验码 padding / 填0，以补足4KB location定义为A@B的形式: • 如果源卷在s3

不同应用场景，如下图所示： 技术权衡 MOLAP ：通过预计算，提供稳定的切片数据，实现多次查询一次计算，减轻了查询时的计算压力，保证 了查询的稳定性，是“空间换时间”的最佳路径。实现了基于Bitmap的去重算法，支持在不同维度 下去重指标的实时统计，效率较高。 ROLAP ：基于实时的大规模并行计算，对集群的要求较高。MPP引擎的核心是通过将数据分散，以实现 CPU、IO、内存资源的分布，来 大规模汇 总统计，并发能力将面临较大挑战，这取决于集群硬件方面的并行计算能力。传统去重算法需要 大量计算资源，实时的大规模去重指标对CPU、内存都是一个巨大挑战。目前Doris最新版本已经 支持Bitmap算法，配合预计算可以很好地解决去重应用场景。 3 / 8 Apache Doris在美团外卖数仓中的应用实践 IN NER JOIN [shuffle] C t6 ON ((t1.dt = t6.dt) AND (t1.id = t6.id)) where t1.dt in (xxx days); Bitmap 精确去重 Doris之前实现精确去重的方式是现场计算的，实现方法和Spark、MapReduce类似： 对于上图计算PV的SQL，Doris在计算时，会按照下图的方式进行计算，先根据page列和user_id

基本图框项目是： 线 矩形 文本 （带格式符号，将由实际替换 文字，如 Eeschema 或 Pcbnew 中的日 期，页码…）。 多边形 （主要用于放置 LOGO 和特殊图形形状）。 这些多边形由 Bitmap2component 创建，但不能 内置 pl_editor，因为无法创建这样的形状 用手。 位图 用于放置 LOGO。 警告 位图只能由少量绘图仪绘制：仅限 PDF 和 PS。 因此： 缩放选择：直接选择显示缩放。 网格选择：直接选择网格。 注意 追加图框描述文件 旨在添加多边形以制作 LOGO。 因为通常需要数百个顶点的 LOGO，所以不能手工创建多边形。 但是 您可以附加由 Bitmap2Component 创建的描述文件。 7.4. 状态栏信息 状态栏位于 Pl_Editor 的底部，为用户提供有用的信息。 坐标 始终相对于角 被选为 参考 。 8. 左窗口 左侧窗口显示布局项列表。 要添加新项目，请在光标位于左侧窗口或绘图区域时单击鼠标右键。 将显示一个弹出菜单： 在左侧窗口中弹出菜单 在绘图区域弹出菜单。 只需单击相应的菜单项即可添加线条，矩形和文本。 必须首先由 Bitmap2component 创建 LOGO，这将创建图框描述文件。 附加图框描述文件选项附加此文件，以插入 LOGO（多边形）。 10.3. 添加线条，矩形和文本 单击该选项时，将打开一个对话框：

基本图框项目是： 线 矩形 文本 （带格式符号，将由实际替换 文字，如 Eeschema 或 Pcbnew 中的日期，页码… ）。 多边形 （主要用于放置 LOGO 和特殊图形形状）。 这些多边形由 Bitmap2component 创建，但不能 内置 pl_editor，因为无法创建这样的形状 用手。 位图 用于放置 LOGO。 WARNING 位图只能由少量绘图仪绘制：仅限 PDF 和 PS。 缩放选择：直接选择显示缩放。 网格选择：直接选择网格。 NOTE 追加图框描述文件 旨在添加多边形以制作 LOGO。 因为通常需要数百个顶点的 LOGO ，所以不能手工创建多边形。 但是您可以附加由 Bitmap2Component 创建的描述文件。 19 状态栏信息 状态栏位于 Pl_Editor 的底部，为用户提供有用的信息。 坐标 始终相对于角 被选为 参考 。 20 左窗口 左侧窗口显示布局项列表。 要添加新项目，请在光标位于左侧窗口或绘图区域时单击鼠标右键。 将显示一个弹出菜单： 在左侧窗口中弹出菜单 在绘图区域弹出菜单。 只需单击相应的菜单项即可添加线条，矩形和文本。 必须首先由 Bitmap2component 创建 LOGO，这将创建图框描述文件。 附加图框描述文件选项附加此文件，以插入 LOGO（多边形）。 27 添加线条，矩形和文本 单击该选项时，将打开一个对话框：

基本图框项目是： 直线 矩形 文本 （带格式符号，将由实际替换 文字，如 Eeschema 或 Pcbnew 中的日期，页码… ）。 多边形 （主要用于放置 LOGO 和特殊图形形状）。 这些多边形由 Bitmap2component 创建，但不能 内置 pl_editor，因为无法创建这样的形状 用手。 位图 用于放置 LOGO。 WARNING 位图只能由少量绘图仪绘制：仅限 PDF 和 PS。 缩放选择：直接选择显示缩放。 网格选择：直接选择网格。 NOTE 追加图框描述文件 旨在添加多边形以制作 LOGO。 因为通常需要数百个顶点的 LOGO ，所以不能手工创建多边形。 但是您可以附加由 Bitmap2Component 创建的描述文件。 19 状态栏信息 状态栏位于 Pl_Editor 的底部，为用户提供有用的信息。 坐标 始终相对于角 被选为 参考 。 20 左窗口 左侧窗口显示布局项列表。 要添加新项目，请在光标位于左侧窗口或绘图区域时单击鼠标右键。 将显示一个弹出菜单： 在左侧窗口中弹出菜单 在绘图区域弹出菜单。 只需单击相应的菜单项即可添加线条，矩形和文本。 必须首先由 Bitmap2component 创建 LOGO，这将创建图框描述文件。 附加图框描述文件选项附加此文件，以插入 LOGO（多边形）。 27 添加线条，矩形和文本 单击该选项时，将打开一个对话框：

基本图框项目是： 直线 矩形 文本 （带格式符号，将由实际替换 文字，如 Eeschema 或 Pcbnew 中的日期，页码… ）。 多边形 （主要用于放置 LOGO 和特殊图形形状）。 这些多边形由 Bitmap2component 创建，但不能 内置 pl_editor，因为无法创建这样的形状 用手。 位图 用于放置 LOGO。 WARNING 位图只能由少量绘图仪绘制：仅限 PDF 和 PS。 缩放选择：直接选择显示缩放。 网格选择：直接选择网格。 NOTE 追加图框描述文件 旨在添加多边形以制作 LOGO。 因为通常需要数百个顶点的 LOGO ，所以不能手工创建多边形。 但是您可以附加由 Bitmap2Component 创建的描述文件。 19 状态栏信息 状态栏位于 Pl_Editor 的底部，为用户提供有用的信息。 坐标 始终相对于角 被选为 参考 。 20 左窗口 左侧窗口显示布局项列表。 要添加新项目，请在光标位于左侧窗口或绘图区域时单击鼠标右键。 将显示一个弹出菜单： 在左侧窗口中弹出菜单 在绘图区域弹出菜单。 只需单击相应的菜单项即可添加线条，矩形和文本。 必须首先由 Bitmap2component 创建 LOGO，这将创建图框描述文件。 附加图框描述文件选项附加此文件，以插入 LOGO（多边形）。 27 添加线条，矩形和文本 单击该选项时，将打开一个对话框：