5. 集合（Set）* 6. 有序集合（Sorted Set） 7. HyperLogLog 8. 位图（bitmap） 9. 地理坐标（GEO） 10. 流（Stream） 第⼆部分：附加功能 11. 数据库* 12. ⾃动过期* 13. 流⽔线与事务* 14. Lua 脚本 15. 持久化 16. 发布与订阅 17. 模块 第三部分：多机功能 18. 复制* 19. Sentinel 20 。 虽然 Redis 拥有各式各样的特点和优点， 但其中最重要的不外乎以下这些： 丰富多样的数据结构 Redis 为⽤户提供了字符串、散列、列表、集合、有序集合、HyperLogLog、位图、流、地理坐标等⼀系列 丰富的数据结构， 每种数据结构都适⽤于解决特定的问题。 在有需要的时候， ⽤户还可以通过事务、Lua 脚本、模块等特性， 扩展已有数据结构的功能， 甚⾄从零实现⾃⼰专属的数据结构。 通过这些数据结构和 特性， Redis 可以保证， ⽤户总是可以使⽤最适合的⼯具去解决⼿头上的问题。 完备的功能 在上述这些数据结构的基础上， Redis 提供了很多⾮常有⽤和实⽤的附加功能， ⽐如⾃动过期、流⽔线、 事务、数据持久化等， 这些功能能够帮助⽤户将 Redis 应⽤在更多不同的场景中， 或者给予⽤户以⽅便。 更重要的是， Redis 不仅可以单机使⽤， 还可以多机使⽤： 通过 Redis ⾃带的复制、Sentinel

UDW 接⼊ Zeppelin ⼆、 UDW 接⼊ SuperSet UDW 使⽤案例 使⽤案例 案例⼀ 利⽤ logstash+Kafka+UDW 对⽇志数据分析 案例⼆ 基于UDW实现⽹络流分析 PXF 扩展 扩展 配置 PXF 服务 创建 EXTENSION 读写 HDFS ⽬录 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 2012-2021 UCloud 优刻得 176/206 UDW 使⽤案例 使⽤案例 案例⼀ 案例⼀ 利⽤ 利⽤ logstash+Kafka+UDW 对⽇志数据分析 对⽇志数据分析 Logstash 是⽬前⽐流⾏、使⽤较多的⽇志收集和管理系统，Kafka也是企业常⽤的分布式发布-订阅消息系统，UDW（UCloud Data Warehouse）是⼤规模并⾏处理数据仓库产品，下⾯介 绍⼀些利⽤ logstash+Kafka+UDW 接⼊第三⽅的BI系统，请参考我们的⽂档： UDW接⼊第三⽅BI系统 案例⼆ 案例⼆ 基于 基于UDW实现⽹络流分析 实现⽹络流分析 背景介绍 背景介绍 ⽹络流分析主要包括对⽤⼾的⽹络流数据进⾏存储和多维度的分析两部分。⽤⼾的⽹络流的数据每天产⽣400G左右，数据保留10天。针对⽹络流数据的分析主要包含流量分析、包量分析、 TCP延迟分析、HTTP状态码分析、TCP重传分析等。 UDW 使⽤案例

为什么选择Postgres？ • 关于Postgres • 公司中⽴，开源协议友好，国际⼀流⼯程⽔准的先进开源数据库 • Postgres对存储扩展，插件扩展⽀持友好 • 天然⾃带⼀定的多模⽀持 (原⽣或者插件） • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦ • 和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码，在社区参与诸多贡献 各种Postgres/Greenplum组件或者功能天然⽀持，如In- database AI组件Madlib, json, text等 • 实时ETL/ELT性能对⽐PieCloudDB 1.0有巨⼤提升 • 流处理：原⽣⽀持kafka数据导⼊和查询, 在PieCloudDB侧导⼊ 实现exactly once语义 智能化云原⽣平台 （数据服务平台） 面向用户，做到开箱即用：离数据分析更近， 离繁琐操作更远；

开放式系统：在通用系统和开放源软件的基础上创建 前提条件 – 硬件：基于开放式标准硬件 – 软件：Postgres和Greenplum – 体系架构：海量并行处理体系，针对商务智能/数据仓库 进行了优化，解决了所有数据流瓶颈问题 Greenplum数据引擎 全球最强大的分析数据仓库 海量并行查询 • 可以比以往更快地获取 查询结果 • 在数据增长的同时确保 高性能分析 统一的分析处理功能 • 为数据仓库、市场、 “完全不共享”体系 Greenplum体系：并行数据流 21 • 通用并行数据流引擎可以通过本地方 式执行 SQL和MapReduce • 采用了针对商用硬件优化的MPP“完 全不共享”体系 • 可以在很多100s服务器上扩展到 1000s商用处理内核 • 将所有处理操作尽量移动到数据附近 计算内核 Greenplu m并行数 据流引擎 对本地磁盘进行直 接的高性能访问 gNet

特性，提供更直观方便的方式观察事务加锁情况以及排查死锁问题。 25 • 新增 TiFlash I/O 限流功能，提升 TiFlash 读写稳定性。 • 为 TiKV 引入新的流控机制代替之前的 RocksDB write stall 流控机制，提升 TiKV 流控稳定性。 • 简化 Data Migration (DM) 工具运维，降低运维管理的成本。 • TiCDC 支持 HTTP 协议 OpenAPI 对 TiCDC threshold 新增 当 KvDB 的 memtable 的个 数达到该阈值 时，流控机制 开始工作。默 认值为 5。 TiKV 配置文件 storage.flow- �→ control.l0 �→ -files- �→ threshold 新增 当 KvDB 的 L0 文 件个数达到该 阈值时，流控 机制开始工作。 默认值为 9。 28 配置文件 配置项 修改类型 描述 TiKV bytes 达到该阈值时， 流控机制开始 拒绝部分写入 请求并报错。 默认值为 “192GB”。 TiKV 配置文件 storage.flow- �→ control. �→ hard- �→ pending- �→ compaction �→ -bytes- �→ limit 新增 当 KvDB 的 pending compaction bytes 达到该阈值时， 流控机制开始 拒绝所有写入

作业依赖 (TODO) – 基于有向无环图（DAG）的作业间依赖 – 基于有向无环图（DAG）的作业分片间依赖 • 作业开放生态 – 可扩展的作业类型统一接口 – 丰富的作业类型库，如数据流、脚本、HTTP、文件、大数据等 – 易于对接业务作业，能够与 Spring 依赖注入无缝整合 • 可视化管控端 – 作业管控端 – 作业执行历史数据追踪 – 注册中心管理 3 3 环境要求 API，将作业解耦为作业接口和执行器接口。用户可以定制化全新的作业类型，诸如脚本执行、HTTP 服务执行（3.0.0‐beta 提供）、大数据类作业、文件类作业等。目前 ElasticJob 内置了简单作业、数据流作 业和脚本执行作业，并且完全开放了扩展接口，开发者可以通过 SPI 的方式引入新的作业类型，并且可以 便捷的回馈至社区。 5.5.1 作业接口 ElasticJob 的作业可划分为基于 class 2 break; // case n: ... } } } 6.1. 使用手册 23 Apache ShardingSphere ElasticJob document 数据流作业 用于处理数据流，需实现 DataflowJob 接口。该接口提供 2 个方法可供覆盖，分别用于抓取 (fetchData) 和处理 (processData) 数据。 public class MyElasticJob

application Slot • APPLY • Other SQL/tuple 逻辑解码 持久化WAL解析成便于理解的格式 不必知道内部细节 一个槽表示一个更改流 这些流可以根据需要更改成用户需要的状态 用户可以根据需要的状态 进行需要的操作 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 的场景定义不同的输出规则。也可以在相同的场景定 义不同的规则 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 自动导出快照 当使用流复制接口创建一个新的复制槽时， 将会自动产生一个快照。 无DB限制 Pg的逻辑复制可以根据需求把WAL日志直接翻译成 可以直接解析的SQL语句，并通过槽技术向不同DB 进行传递，从而实现不同DB数据库的复制。

多级容错机制 无共享大规模并行处理 先进的查询优化器 多态存储系统 客户端访问 ODBC, JDBC, OLEDB, etc. 核心MPP 架构 并行数据流引擎 高速软数据交换机制 MPP Scatter/Gather 流处理 在线系统扩展 任务管理 服务 加载 & 数据联邦 高速数据加载 近实时数据加载 任意系统数据访问 存储 & 数据访问 混合存储引擎（行存&列存） 一个数据节点可以配置多个节点实例（Segment Instances) • 节点实例并行处理查询（SQL） • 数据节点有自己的CPU、磁盘和 内存（Share nothing） • 高速Interconnect处理持续 数据流（Pipelining） Interconnect Segment Host Segment Instance Segment Instance Segment Instance Segment Instance

典型适用场景： • 混合负载场景 当将 TiDB 应用于在线实时分析处理的混合负载场景时，开发人员只需要提供一个入口，TiDB 将自动根 据业务类型选择不同的处理引擎。 • 实时流处理场景 当将 TiDB 应用于实时流处理场景时，TiDB 能保证源源不断流入系统的数据实时可查，同时可兼顾高并 发数据服务与 BI 查询。 • 数据中枢场景 当将 TiDB 应用于数据中枢场景时，TiDB 作为数 了 6 本，Alice 购买了 4 本。两个人几乎同一时间完成订单，最终，这本书的剩余库存为零。 当使用多个线程模拟多用户同时插入的情况时，需要使用一个线程安全的连接对象，这里使用 Java 当前较流 行的连接池 HikariCP 。 Golang 的 sql.DB 是并发安全的，无需引入外部包。 封装一个用于适配 TiDB 事务的工具包 util，编写以下代码备用： 335 package online-ddl 的影响 当开启online-ddl特性后，DM 同步 gh-ost 或 pt-osc 工具所产生的 DDL 语句将会发生一些变化： 上游 gh-ost 或 pt-osc 工具工作流如下： • 根据 DDL 目标表 (real table) 的表结构新建一张镜像表 (ghost table)； • 在镜像表上应用变更 DDL； • 将 DDL 目标表的数据同步到镜像表； •

典型适用场景： • 混合负载场景 当将 TiDB 应用于在线实时分析处理的混合负载场景时，开发人员只需要提供一个入口，TiDB 将自动根 据业务类型选择不同的处理引擎。 • 实时流处理场景 当将 TiDB 应用于实时流处理场景时，TiDB 能保证源源不断流入系统的数据实时可查，同时可兼顾高并 发数据服务与 BI 查询。 • 数据中枢场景 当将 TiDB 应用于数据中枢场景时，TiDB 作为数 了 6 本，Alice 购买了 4 本。两个人几乎同一时间完成订单，最终，这本书的剩余库存为零。 当使用多个线程模拟多用户同时插入的情况时，需要使用一个线程安全的连接对象，这里使用 Java 当前较流 行的连接池 HikariCP。 Golang 的 sql.DB 是并发安全的，无需引入外部包。 封装一个用于适配 TiDB 事务的工具包 util，编写以下代码备用： package util online-ddl 的影响 当开启online-ddl特性后，DM 同步 gh-ost 或 pt-osc 工具所产生的 DDL 语句将会发生一些变化： 上游 gh-ost 或 pt-osc 工具工作流如下： • 根据 DDL 目标表 (real table) 的表结构新建一张镜像表 (ghost table)； • 在镜像表上应用变更 DDL； • 将 DDL 目标表的数据同步到镜像表； •