Twitter（twitter.com/antirez） 上提 问。 ⼴泛的⽀持 正如之前所说， Redis 已经得到了互联⽹公司的⼴泛使⽤， 许多开发者为不同的编程语⾔开发了相应的客 户端（redis.io/clients）， 绝⼤多数编程语⾔的使⽤者都可以轻⽽易举地找到他们所需的客户端， 然后直 接开始使⽤ Redis 。 此外，包括亚⻢逊、⾕歌、RedisLabs、阿⾥云和腾讯云在内的多个云服务提供商都提 ⾮常便于⽇常查阅。 1.4 预备⼯作 本书包含⼤量 Redis 命令操作实例和 Python 代码应⽤示例， 执⾏和测试这些示例需要⽤到 Redis 服务器及其附 带的 redis-cli 客户端、Python 编程环境和 redis-py 客户端， 如果你尚未安装这些软件， 那么请查阅本书的附 录 A 和附录 B 并按照指引进⾏安装。 在正确安装 Redis 服务器之后， 你应该可以通过执⾏以下命令来启动 Redis 如果锁被持有者以外的其他进程释放了的话， 那么系统中可能就会同时出现多个锁， 导致锁的唯 ⼀性被破坏。 2. 这个锁的获取操作不能设置最⼤加锁时间， 它⽆法让锁在超过给定的时限之后⾃动释放。 因此， 如果持有 锁的进程因为故障或者编程错误⽽没有在退出之前主动释放锁， 那么锁就会⼀直处于已被获取的状态， 导 致其他进程永远⽆法取得锁。 本书后续将继续改进这个锁实现， 使得它可以解决这两个问题。 2.6 MSET：⼀次为多个字符串键设置值

ShardingSphere 中叫做 Hint。 实现机制 Apache ShardingSphere 使用 ThreadLocal 管理分片键值。可以通过编程的方式向 HintManager 中 添加分片条件，该分片条件仅在当前线程内生效。 除了通过编程的方式使用强制分片路由，Apache ShardingSphere 还计划通过 SQL 中的特殊注释的方式 引用 Hint，使开发者可以采用更加透明的方式使用该功能。 改写分为正确性改写和优化改写。 SQL 执行 通过多线程执行器异步执行。 结果归并 将多个执行结果集归并以便于通过统一的 JDBC 接口输出。结果归并包括流式归并、内存归并和使用装饰 者模式的追加归并这几种方式。 解析引擎 相对于其他编程语言，SQL 是比较简单的。不过，它依然是一门完善的编程语言，因此对 SQL 的语法进 行解析，与解析其他编程语言（如：Java 语言、C 语言、Go 语言等）并无本质区别。 读写分离模块的主要设计目标。 3.3.4 核心概念 主库 添加、更新以及删除数据操作所使用的数据库，目前仅支持单主库。 从库 查询数据操作所使用的数据库，可支持多从库。 主从同步 将主库的数据异步的同步到从库的操作。由于主从同步的异步性，从库与主库的数据会短时间内不一致。 负载均衡策略 通过负载均衡策略将查询请求疏导至不同从库。 3.3.5 使用规范 支持项 • 提供一主多从的读写分离配置，可独立使用，也可配合分库分表使用；

ShardingSphere 中叫做 Hint。 实现机制 Apache ShardingSphere 使用 ThreadLocal 管理分片键值。可以通过编程的方式向 HintManager 中 添加分片条件，该分片条件仅在当前线程内生效。 除了通过编程的方式使用强制分片路由，Apache ShardingSphere 还计划通过 SQL 中的特殊注释的方式 引用 Hint，使开发者可以采用更加透明的方式使用该功能。 查询数据操作所使用的数据库，可支持多从库。 4.4. 读写分离 43 Apache ShardingSphere document, v5.0.0 主从同步 将主库的数据异步的同步到从库的操作。由于主从同步的异步性，从库与主库的数据会短时间内不一致。 负载均衡策略 通过负载均衡策略将查询请求疏导至不同从库。 4.4.5 使用规范 支持项 • 提供一主多从的读写分离配置，可独立使用，也可配合数据分片使用； @Resource private DataSource dataSource; 强制路由 简介 Apache ShardingSphere 使用 ThreadLocal 管理分片键值进行强制路由。可以通过编程的方式向 Hint‐ Manager 中添加分片值，该分片值仅在当前线程内生效。 Hint 的主要使用场景： • 分片字段不存在 SQL 和数据库表结构中，而存在于外部业务逻辑。 • 强制在主库进行某些数据操作。

ShardingSphere 中叫做 Hint。 实现机制 Apache ShardingSphere 使用 ThreadLocal 管理分片键值。可以通过编程的方式向 HintManager 中 添加分片条件，该分片条件仅在当前线程内生效。 除了通过编程的方式使用强制分片路由，Apache ShardingSphere 还可以通过 SQL 中的特殊注释的方式 引用 Hint，使开发者可以采用更加透明的方式使用该功能。 查询数据操作所使用的数据库，可支持多从库。 4.5. 读写分离 51 Apache ShardingSphere document, v5.1.1 主从同步 将主库的数据异步的同步到从库的操作。由于主从同步的异步性，从库与主库的数据会短时间内不一致。 负载均衡策略 通过负载均衡策略将查询请求疏导至不同从库。 4.5.5 使用规范 支持项 • 提供一主多从的读写分离配置，可独立使用，也可配合数据分片使用； API 是 ShardingSphere‐JDBC 中所有配置方式的基础，其他配置最终都将转化成为 Java API 的配置 方式。 Java API 是最繁琐也是最灵活的配置方式，适合需要通过编程进行动态配置的场景下使用。 66 Apache ShardingSphere document, v5.1.1 使用步骤 引入 Maven 依赖 org

ShardingSphere 中叫做 Hint。 实现机制 Apache ShardingSphere 使用 ThreadLocal 管理分片键值。可以通过编程的方式向 HintManager 中 添加分片条件，该分片条件仅在当前线程内生效。 除了通过编程的方式使用强制分片路由，Apache ShardingSphere 还可以通过 SQL 中的特殊注释的方式 引用 Hint，使开发者可以采用更加透明的方式使用该功能。 查询数据操作所使用的数据库，可支持多从库。 4.5. 读写分离 51 Apache ShardingSphere document, v5.1.0 主从同步 将主库的数据异步的同步到从库的操作。由于主从同步的异步性，从库与主库的数据会短时间内不一致。 负载均衡策略 通过负载均衡策略将查询请求疏导至不同从库。 4.5.5 使用规范 支持项 • 提供一主多从的读写分离配置，可独立使用，也可配合数据分片使用； API 是 ShardingSphere‐JDBC 中所有配置方式的基础，其他配置最终都将转化成为 Java API 的配置 方式。 Java API 是最繁琐也是最灵活的配置方式，适合需要通过编程进行动态配置的场景下使用。 65 Apache ShardingSphere document, v5.1.0 使用步骤 引入 Maven 依赖 org

ShardingSphere 中叫做 Hint。 实现机制 Apache ShardingSphere 使用 ThreadLocal 管理分片键值。可以通过编程的方式向 HintManager 中 添加分片条件，该分片条件仅在当前线程内生效。 除了通过编程的方式使用强制分片路由，Apache ShardingSphere 还可以通过 SQL 中的特殊注释的方式 引用 Hint，使开发者可以采用更加透明的方式使用该功能。 查询数据操作所使用的数据库，可支持多从库。 4.5. 读写分离 52 Apache ShardingSphere document, v5.1.2 主从同步 将主库的数据异步的同步到从库的操作。由于主从同步的异步性，从库与主库的数据会短时间内不一致。 负载均衡策略 通过负载均衡策略将查询请求疏导至不同从库。 4.5.5 使用规范 支持项 • 提供一主多从的读写分离配置，可独立使用，也可配合数据分片使用； API 是 ShardingSphere‐JDBC 中所有配置方式的基础，其他配置最终都将转化成为 Java API 的配置 方式。 Java API 是最繁琐也是最灵活的配置方式，适合需要通过编程进行动态配置的场景下使用。 67 Apache ShardingSphere document, v5.1.2 使用步骤 引入 Maven 依赖 org

0 3.3.6 核心概念 主库 添加、更新以及删除数据操作所使用的数据库，目前仅支持单主库。 从库 查询数据操作所使用的数据库，可支持多从库。 主从同步 将主库的数据异步的同步到从库的操作。由于主从同步的异步性，从库与主库的数据会短时间内不一致。 负载均衡策略 通过负载均衡策略将查询请求疏导至不同从库。 3.3.7 使用限制 • 不处理主库和从库的数据同步 • 不处理主库和从库的数据同步延迟导致的数据不一致 YAML 提供通过配置文件的方式与 ShardingSphere‐JDBC 交互。配合治理模块一同使用时，持久化在配 置中心的配置均为 YAML 格式。 YAML 配置是最常见的配置方式，可以省略编程的复杂度，简化用户配置。 49 Apache ShardingSphere document, v5.2.0 使用步骤 引入 Maven 依赖 org API 是 ShardingSphere‐JDBC 中所有配置方式的基础，其他配置最终都将转化成为 Java API 的配置 方式。 Java API 是最繁琐也是最灵活的配置方式，适合需要通过编程进行动态配置的场景下使用。 使用步骤 引入 Maven 依赖 org.apache.shardingsphere

0 码力 | 449 页 | 5.85 MB | 1 年前

3

配置 8.3.6 核心概念 主库 添加、更新以及删除数据操作所使用的数据库，目前仅支持单主库。 从库 查询数据操作所使用的数据库，可支持多从库。 主从同步 将主库的数据异步的同步到从库的操作。由于主从同步的异步性，从库与主库的数据会短时间内不一致。 负载均衡策略 通过负载均衡策略将查询请求疏导至不同从库。 8.3.7 使用限制 • 不处理主库和从库的数据同步 • 不处理主库和从库的数据同步延迟导致的数据不一致 ShardingSphere‐JDBC 交互。配合治理模块一同使用时，持久化在配 置中心的配置均为 YAML 格式。 说明：YAML 配置文件支持配置内容超过 3MB。 YAML 配置是最常见的配置方式，可以省略编程的复杂度，简化用户配置。 51 Apache ShardingSphere document 使用步骤 引入 Maven 依赖 org.apache API 是 ShardingSphere‐JDBC 中所有配置方式的基础，其他配置最终都将转化成为 Java API 的配置 方式。 Java API 是最繁琐也是最灵活的配置方式，适合需要通过编程进行动态配置的场景下使用。 使用步骤 引入 Maven 依赖 org.apache.shardingsphere

0 码力 | 530 页 | 4.49 MB | 1 年前

3

配置 8.3.6 核心概念 主库 添加、更新以及删除数据操作所使用的数据库，目前仅支持单主库。 从库 查询数据操作所使用的数据库，可支持多从库。 主从同步 将主库的数据异步的同步到从库的操作。由于主从同步的异步性，从库与主库的数据会短时间内不一致。 负载均衡策略 通过负载均衡策略将查询请求疏导至不同从库。 8.3.7 使用限制 • 不处理主库和从库的数据同步 • 不处理主库和从库的数据同步延迟导致的数据不一致 ShardingSphere‐JDBC 交互。配合治理模块一同使用时，持久化在配 置中心的配置均为 YAML 格式。 说明：YAML 配置文件支持配置内容超过 3MB。 YAML 配置是最常见的配置方式，可以省略编程的复杂度，简化用户配置。 51 Apache ShardingSphere document 使用步骤 引入 Maven 依赖 org.apache API 是 ShardingSphere‐JDBC 中所有配置方式的基础，其他配置最终都将转化成为 Java API 的配置 方式。 Java API 是最繁琐也是最灵活的配置方式，适合需要通过编程进行动态配置的场景下使用。 使用步骤 引入 Maven 依赖 org.apache.shardingsphere

0 码力 | 508 页 | 4.44 MB | 1 年前

3

满足现在清帐单业务的查询统计需求(23类) – 实时入库，清单文件无积压（清单文件最大2万条，最小1条记录。 实时生产，平均每秒2个20MB的清单文件，高峰期到每秒10个 20MB文件） – 对联机分析必须提供标准编程接口，支持SQL/JDBC/ODBC等 • 高可扩展和高可用 – 用户程序查询数据不需要知道底层细节，比如数据分布细节 – 可以水平扩展 – 允许多台机器故障的场景下，业务不中断 Postgres HBase客户端性能优化 • 使用批量数据处理接口 • 保持2MB的Chunk Size • 使用内存pool缓存HTable及其他可重用对象 • 使用多线程并发技术 – Parallel Scanner • 使用异步调用接口 – AsyncClient • 使用数据预取以及预缓存 Postgres Conference China 2016 中国用户大会 Thanks! @Cloudera中国 @陈飚