用户id，只需要40亿bit位， 约477m大小 = （4 * 109 / 8 / 1024 / 1024） 但是如果使用上述的数据结构存储单独一个较大数值的数字id，会造成空间上的浪费，例如 仅存储40亿一个数值也需要477m的空间。也就是说稀疏的Bitmap和稠密的占用空间相 同。通常会使用一种bitmap压缩算法迚行优化。 RoaringBitmap是一种已被业界广泛使用的 Container  Run Container  Bitmap Container 10 RoaringBitmap原理介绍 11 丌仅数据结构设计精巧，而且还有 很多高效的Bitmap计算函数。 稀疏数据，劢态分配 最大存储：4096元素 最大空间：8KB 连续数据，劢态分配 最大存储：65536元素 最大空间：128KB 稠密数据，固定大小 最大存储：65536元素

允许 不得将本⽂档及其内容⽤于任何商业⽤途，违者必究。 ⽬录 以下是《Redis使⽤⼿册》⼀书的完整⽬录，其中标题后⾯带 * 的⼤章都在本⽂档提供了试读。 前⾔* 1. 引⾔* 第⼀部分：数据结构与应⽤ 2. 字符串（String）* 3. 散列（Hash）* 4. 列表（List）* 5. 集合（Set）* 6. 有序集合（Sorted Set） 7. HyperLogLog 8. 位图（bitmap） 当你使⽤这些服务时， 你实际上就是在使⽤ Redis 。 除了变得越来越受欢迎之外， Redis 在过去数年的另⼀个变化就是更新速度越来越快， 功能也变得越来越多、越 来越强⼤： ⽐如说， Redis 的数据结构数量已经从过去的五种增加到了九种， RDB-AOF 混合持久化模式的引⼊ 使得⽤户不必再陷⼊“⻥和熊掌不可兼得”的难题中， ⽽集群功能和模块机制的引⼊则让 Redis 在性能和功能上拥 有了近乎⽆限的扩展能⼒。 版本以及本书配套的读者服务 ⽹站。 1.1 Redis 简介 Redis 是⼀个主要由 Salvatore Sanfilippo （antirez）开发的开源的内存数据结构存储器， 它经常被⽤作数据 库、缓存以及消息代理等⽤途。 Redis 因为它丰富的数据结构、极快的速度、⻬全的功能⽽为⼈所知， 它是⽬前内存数据库⽅⾯的事实标准， 在 互联⽹上有⾮常⼴泛的应⽤， 包括微博、Twitter、GitHub、Stack

每次看⼀一个项⽬目介绍完⾃自⼰己, 还是不不知道他是⼲干嘛的, 希望今天我介绍完, ⼤大家能知道他是⼲干嘛的 A Bigtable is a sparse(稀疏), distributed, persistent multidimensional sorted map. 回顾: 稀疏的, ⾏行行和列列⽐比较随意, 不不需要固定的schema, 没有值的位置不不占空间 分布式的, 本身hdfs的是分布式的容错的

的。 对于每一个新创建的分区目录而言，其初始值均为0。之 后,以分区为单位，如果相同分区发生合并动作，则在相 应分区内计数累积加1。 分区目录的合并过程 一级索引 稀疏索引 primary.idx文件内的一级索引采用稀疏索引实现 如果把MergeTree比作是一本书，那么稀 疏索引就好比是这本书的一级章节目录。 一级章节目录不会具体对照到每个字的位 置，只会记录每个章节的起始页码。 以默认的索引粒度(8192)为例，

拟数仓中，只有一个目录信息副本从协调节点分发，并共享给所有 Slices/Backends。 n 支持在 PieCloudDB 全局缓存系统中添加本地缓存。 l HLL（HyperLogLog）压缩 当 HLL 比较稀疏时支持使用游程编码，可以节省 60%-95% 的存储空间。 2 l 优化 Block Skipping 实现 JANM 的虚拟索引。对于某些特殊的访问方法，表的数据文件/块已经包

全球敏捷运维峰会 广州站 ClickHouse 的特点 优点： 1. 数据压缩比高，存储成本相对非常低； 2. 支持常用的SQL语法，写入速度非常快，适用于大量的数据更新； 3. 依赖稀疏索引，列式存储，cpu/内存的充分利用造就了优秀的计算能力， 并且不用考虑左侧原则； 缺点： 1. 不支持事务，没有真正的update/delete； 2. 不支持高并发，可以根据实际情况修改qps相关配置文件；

roaring bitmap 在线bitmap 圈人 业务痛点：广告圈人，分析师面对海量数据，进行随机 探索，数据库传统JOIN方案为分钟/小时级任务。 方案及价值：通过 ADB/PG 高压缩比稀疏位图索引 （roaring bitmap），人群碰撞关联速度提升 10X+，广告圈人从离线变在线，最大化数据业务价 值。 数据银行依托阿里数据资源，为品牌商家提供数据分析 服务的平台，商家通过分析用户的购买行为等数据，以

2016 中国用户大会 4 HBase的模型特性 Hadoop database and NoSQL database • 基本的数据库操作CRUD • 强一致性 • 无SQL语言支持 • 稀疏的多维映射表 – 列存储 – 只用row key来定位行 – 每行可以有不同的列 – 数据有多个版本（在不同的时间点的快照信息） • 分布式的多层次映射表结构（key-value形式，value有多个）

被全世界共享起来 互联网的规模也从单独 一个数据中心的部署方 式转变为多数据中心, 甚 至是跨区域的部署模式 多区域部署 Serverless 分布式存储 Redis 内存数 据库 支持多种 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖. 机票的业务需要从 上游供应商处收集舱位信息, Redis 方便 的多种数据结构类型对于储存这种数据 比较方便. 同时由于供应商是在全球分布的特性, 就更需要一个能够多点写入的 Redis 集 群, 支持海外站点和国内站点同时进行读写; 并解决因此可能出现的数据一致性问题. 全量状态 发送给接收端, 接 收端执行 merge 操作, 来达到和发送端状态 一致的结果 State-base replication 适用于不稳定的网络 系统, 通常会有多次重传 要求数据结构能够支持 交换律/结合律/幂等 性 这些特性 State-based Replication Operation-based CRDTs are referred to as commutative

本小节主要介绍数据分片的核心概念，主要包括： • SQL 核心概念 • 分片核心概念 • 配置核心概念 • 行表达式 • 分布式主键 • 强制分片路由 SQL 逻辑表 水平拆分的数据库（表）的相同逻辑和数据结构表的总称。例：订单数据根据主键尾数拆分为 10 张表，分 别是 t_order_0 到 t_order_9，他们的逻辑表名为 t_order。 真实表 在分片的数据库中真实存在的物理表。即上个示例中的 配置数据节点 对于均匀分布的数据节点，如果数据结构如下： db0 ├── t_order0 └── t_order1 db1 ├── t_order0 └── t_order1 用行表达式可以简化为： db${0..1}.t_order${0..1} 或者 db$->{0..1}.t_order$->{0..1} 对于自定义的数据节点，如果数据结构如下： db0 ├── t_order0 t_order$->{2..4} 3.1. 数据分片 16 Apache ShardingSphere document, v5.0.0-beta 对于有前缀的数据节点，也可以通过行表达式灵活配置，如果数据结构如下： db0 ├── t_order_00 ├── t_order_01 ├── t_order_02 ├── t_order_03 ├── t_order_04 ├── t_order_05