开放式系统：在通用系统和开放源软件的基础上创建 前提条件 – 硬件：基于开放式标准硬件 – 软件：Postgres和Greenplum – 体系架构：海量并行处理体系，针对商务智能/数据仓库 进行了优化，解决了所有数据流瓶颈问题 Greenplum数据引擎 全球最强大的分析数据仓库 海量并行查询 • 可以比以往更快地获取 查询结果 • 在数据增长的同时确保 高性能分析 统一的分析处理功能 • 为数据仓库、市场、 网络互连 并行查询规划和调度 区段服务器 （处理和存储） SQL 查询和 MapReduce程序 MPP （海量并行处理） “完全不共享”体系 Greenplum体系：并行数据流 21 • 通用并行数据流引擎可以通过本地方 式执行 SQL和MapReduce • 采用了针对商用硬件优化的MPP“完 全不共享”体系 • 可以在很多100s服务器上扩展到 1000s商用处理内核 第一个支持互联网级分析技术（由Google普及）的产品 • 采用新的编程模型，在商用硬件上并行处理和执行 • 可以使客户洞察力和数据货币化程度达到前所未有的高度 MapReduce Greenplum MapReduce的优势 • 处理在任何地点存储的任何类型的数 据 • 将SQL的普遍性与MapReduce的灵 活编程模式结合起来 • 针对业务关键分析功能提供企业级集 成、支持和发布

产品特性 客户端访问和工具 多级容错机制 无共享大规模并行处理 先进的查询优化器 多态存储系统 客户端访问 ODBC, JDBC, OLEDB, etc. 核心MPP 架构 并行数据流引擎 高速软数据交换机制 MPP Scatter/Gather 流处理 在线系统扩展 任务管理 服务 加载 & 数据联邦 高速数据加载 近实时数据加载 任意系统数据访问 存储 & 数据访问 数据访问 混合存储引擎（行存&列存） 多种压缩，多级分区表 索引（B树，位图，GiST） 安全性 语言支持 标准SQL支持，SQL 2003 OLAP扩展 支持 MapReduce 扩展编程语言 (Python,R, Java, Perl, C/C++） 第三方工具 BI 工具, ETL 工具 文本分析，数据挖掘等 管理工具 GP Command Center GP Workload 一个数据节点可以配置多个节点实例（Segment Instances) • 节点实例并行处理查询（SQL） • 数据节点有自己的CPU、磁盘和 内存（Share nothing） • 高速Interconnect处理持续 数据流（Pipelining） Interconnect Segment Host Segment Instance Segment Instance Segment Instance Segment

来交换数据，效率很低，MapReduce 要求每个步骤间的数据都要序列 化到磁盘，这意味着 MapReduce 作业的 I/O 成本很高，导致交互分 析和迭代算法开销很大，MPP 数据库采用 Pipline 方式在内存数据流 中处理数据，效率比文件方式高很多。 总结以上几点，MPP 数据库在计算并行度、计算算法上比 Hadoop 更加 SMART，效率更高；在客户现场的测试对比中，Mapreduce 对 于单表的计算 具有很强数据操纵能力和过程语言的流程控制能力，SQL 语言是专 门为统计和数据分析开发的语言，各种功能和函数琳琅满目，SQL 语言不仅适合开发人员，也适用于分析业务人员，大幅简化了数据 的操作和交互过程。 而对 MapReduce 编程明显是困难的，在原生的 Mapreduce 开发 框架基础上的开发，需要技术人员谙熟于 JAVA 开发和并行原理， 不仅业务分析人员无法使用，甚至技术人员也难以学习和操控。为 了解决易用性的问题，近年来 还有plpythonu，这个是Greenplum自带的language，一些通用的函数， 用 plpythonu 来编写也是极其不错的选择。 关于这两种语言，可以参考 PostgreSQL 文档的【服务器端编程】章节， 以及 Perl 和 Python 语言。 Greenplum 是开放的数据库，又是开源的数据库，可以分享的知识其 实真的很多，如果你这方面的知识基础还不是很高，可以多读一些文 章然后收藏起来，慢慢进步。

Twitter（twitter.com/antirez） 上提 问。 ⼴泛的⽀持 正如之前所说， Redis 已经得到了互联⽹公司的⼴泛使⽤， 许多开发者为不同的编程语⾔开发了相应的客 户端（redis.io/clients）， 绝⼤多数编程语⾔的使⽤者都可以轻⽽易举地找到他们所需的客户端， 然后直 接开始使⽤ Redis 。 此外，包括亚⻢逊、⾕歌、RedisLabs、阿⾥云和腾讯云在内的多个云服务提供商都提 ⾮常便于⽇常查阅。 1.4 预备⼯作 本书包含⼤量 Redis 命令操作实例和 Python 代码应⽤示例， 执⾏和测试这些示例需要⽤到 Redis 服务器及其附 带的 redis-cli 客户端、Python 编程环境和 redis-py 客户端， 如果你尚未安装这些软件， 那么请查阅本书的附 录 A 和附录 B 并按照指引进⾏安装。 在正确安装 Redis 服务器之后， 你应该可以通过执⾏以下命令来启动 Redis 如果锁被持有者以外的其他进程释放了的话， 那么系统中可能就会同时出现多个锁， 导致锁的唯 ⼀性被破坏。 2. 这个锁的获取操作不能设置最⼤加锁时间， 它⽆法让锁在超过给定的时限之后⾃动释放。 因此， 如果持有 锁的进程因为故障或者编程错误⽽没有在退出之前主动释放锁， 那么锁就会⼀直处于已被获取的状态， 导 致其他进程永远⽆法取得锁。 本书后续将继续改进这个锁实现， 使得它可以解决这两个问题。 2.6 MSET：⼀次为多个字符串键设置值

• 作业依赖 (TODO) – 基于有向无环图（DAG）的作业间依赖 – 基于有向无环图（DAG）的作业分片间依赖 • 作业开放生态 – 可扩展的作业类型统一接口 – 丰富的作业类型库，如数据流、脚本、HTTP、文件、大数据等 – 易于对接业务作业，能够与 Spring 依赖注入无缝整合 • 可视化管控端 – 作业管控端 – 作业执行历史数据追踪 – 注册中心管理 3 3 环境要求 API，将作业解耦为作业接口和执行器接口。用户可以定制化全新的作业类型，诸如脚本执行、HTTP 服务执行（3.0.0‐beta 提供）、大数据类作业、文件类作业等。目前 ElasticJob 内置了简单作业、数据流作 业和脚本执行作业，并且完全开放了扩展接口，开发者可以通过 SPI 的方式引入新的作业类型，并且可以 便捷的回馈至社区。 5.5.1 作业接口 ElasticJob 的作业可划分为基于 class 2 break; // case n: ... } } } 6.1. 使用手册 23 Apache ShardingSphere ElasticJob document 数据流作业 用于处理数据流，需实现 DataflowJob 接口。该接口提供 2 个方法可供覆盖，分别用于抓取 (fetchData) 和处理 (processData) 数据。 public class MyElasticJob

34 – 通过TiFlash 面板，你可以直观地了解 TiFlash 集群的请求类型、延迟分析和资源使用概览。 – 通过CDC 面板，你可以直观地了解 TiCDC 集群的健康状况、同步延迟、数据流和下游写入延迟等信 息。 更多信息，请参考用户文档。 2.2.1.4 性能 • 索引合并INDEX MERGE 功能支持 AND 连接的表达式 #39333 @guo-shaoge @time-and-fate 至此，你已经完成数据库、表及二级索引的创建，接下来，数据库模式已经准备好给你的应用程序提供写 入和读取的能力了。 4.6 数据写入 4.6.1 插入数据 此页面将展示使用 SQL 语言，配合各种编程语言将数据插入到 TiDB 中。 264 4.6.1.1 在开始之前 在阅读本页面之前，你需要准备以下事项： • 使用 TiDB Serverless 构建 TiDB 集群。 • 阅读数据 的插入逻辑，由 TiDB 自动进行 数据的一致性保证。你只需要在创建表后，开启列存副本同步，就可以直接使用列存副本来加速你的查询。 4.6.2 更新数据 此页面将展示以下 SQL 语句，配合各种编程语言 TiDB 中的数据进行更新： • UPDATE: 用于修改指定表中的数据。 • INSERT ON DUPLICATE KEY UPDATE: 用于插入数据，在有主键或唯一键冲突时，更新此数据。注意，不建议

至此，你已经完成数据库、表及二级索引的创建，接下来，数据库模式已经准备好给你的应用程序提供写 入和读取的能力了。 4.6 数据写入 4.6.1 插入数据 此页面将展示使用 SQL 语言，配合各种编程语言将数据插入到 TiDB 中。 257 4.6.1.1 在开始之前 在阅读本页面之前，你需要准备以下事项： • 使用 TiDB Serverless 构建 TiDB 集群。 • 阅读数据 的插入逻辑，由 TiDB 自动进行 数据的一致性保证。你只需要在创建表后，开启列存副本同步，就可以直接使用列存副本来加速你的查询。 4.6.2 更新数据 此页面将展示以下 SQL 语句，配合各种编程语言 TiDB 中的数据进行更新： • UPDATE: 用于修改指定表中的数据。 • INSERT ON DUPLICATE KEY UPDATE: 用于插入数据，在有主键或唯一键冲突时，更新此数据。注意，不建议 在自己的应 用程序的业务逻辑中添加机制来处理相关的异常。 下面的类似 Python 的伪代码展示了如何实现应用程序级的重试。它不要求您的驱动程序或 ORM 来实现高级重 试处理逻辑，因此可以在任何编程语言或环境中使用。 特别是，您的重试逻辑必须： • 如果失败重试的次数达到 max_retries 限制，则抛出错误 • 使用 try ... catch ... 语句捕获 SQL 执行异常，

至此，你已经完成数据库、表及二级索引的创建，接下来，数据库模式已经准备好给你的应用程序提供写 入和读取的能力了。 4.6 数据写入 4.6.1 插入数据 此页面将展示使用 SQL 语言，配合各种编程语言将数据插入到 TiDB 中。 261 4.6.1.1 在开始之前 在阅读本页面之前，你需要准备以下事项： • 使用 TiDB Serverless 构建 TiDB 集群。 • 阅读数据 的插入逻辑，由 TiDB 自动进行 数据的一致性保证。你只需要在创建表后，开启列存副本同步，就可以直接使用列存副本来加速你的查询。 4.6.2 更新数据 此页面将展示以下 SQL 语句，配合各种编程语言 TiDB 中的数据进行更新： • UPDATE: 用于修改指定表中的数据。 • INSERT ON DUPLICATE KEY UPDATE: 用于插入数据，在有主键或唯一键冲突时，更新此数据。注意，不建议 在自己的应 用程序的业务逻辑中添加机制来处理相关的异常。 下面的类似 Python 的伪代码展示了如何实现应用程序级的重试。它不要求您的驱动程序或 ORM 来实现高级重 试处理逻辑，因此可以在任何编程语言或环境中使用。 特别是，您的重试逻辑必须： • 如果失败重试的次数达到 max_retries 限制，则抛出错误 • 使用 try ... catch ... 语句捕获 SQL 执行异常，

6 数据仓库体系架构 数据流转过程 • 1 业务数据的产生 —— OLTP • 2 业务数据的中转 —— ETL服务器 • 3 数据的存储和计算 —— OLAP集群 • 4 结果数据的展现 —— 数据集市 • 5 访问接口的封装 —— API接口服务器 • 6 最终数据的显示 —— 前端界面 • 7 结果数据的交互 —— OLTP，趋势分析 • 8 OLAP数据流转 —— dbsync平台

至此，你已经完成数据库、表及二级索引的创建，接下来，数据库模式已经准备好给你的应用程序提供写 入和读取的能力了。 4.6 数据写入 4.6.1 插入数据 此页面将展示使用 SQL 语言，配合各种编程语言将数据插入到 TiDB 中。 261 4.6.1.1 在开始之前 在阅读本页面之前，你需要准备以下事项： • 使用 TiDB Serverless 构建 TiDB 集群。 • 阅读数据 的插入逻辑，由 TiDB 自动进行 数据的一致性保证。你只需要在创建表后，开启列存副本同步，就可以直接使用列存副本来加速你的查询。 4.6.2 更新数据 此页面将展示以下 SQL 语句，配合各种编程语言 TiDB 中的数据进行更新： • UPDATE: 用于修改指定表中的数据。 • INSERT ON DUPLICATE KEY UPDATE: 用于插入数据，在有主键或唯一键冲突时，更新此数据。注意，不建议 在自己的应 用程序的业务逻辑中添加机制来处理相关的异常。 下面的类似 Python 的伪代码展示了如何实现应用程序级的重试。它不要求您的驱动程序或 ORM 来实现高级重 试处理逻辑，因此可以在任何编程语言或环境中使用。 特别是，您的重试逻辑必须： • 如果失败重试的次数达到 max_retries 限制，则抛出错误 • 使用 try ... catch ... 语句捕获 SQL 执行异常，