大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 SACC2017 简介 • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 SACC2017 Pika 的出现并不是为了替代 Redis，而是 Redis 的场景补充。 Pika 力求在完全兼容 Redis 协议、继承 Redis 便 捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 Pika 定位 SACC2017 Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题 SACC2017 问题分析 • 成本问题 • 可用性问题 • 同步问题 • 易用性问题 SACC2017 问题分析 • 尽可能兼容redis 协议 • 使用基于磁盘的存储引擎rocksdb 实现多 数据接口接口 • 网络库 • 添加binlog 模块 SACC2017 Pika 整体结构 SACC2017 网络模块--Pink •

. . 22 SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 解析引擎 . . . . . . . 111 测试环境搭建 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 测试结果验证 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 3.10.5 性能测试 (sysbench) Cloud not resolve placeholder ⋯in string value ⋯异常的解决方法? . . . . . . . . . . . . 285 7.5 inline 表达式返回结果为何出现浮点数？ . . . . . . . . . . . . . . . . . . . . . . . . . . 285 7.6 如果只有部分数据库分库分表，是否需要将不分库分表的表也配置在分片规则中？

. . . . . . 39 计算节点过载保护 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 存储节点限流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 8.5.5 核心概念 . . . 4 SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488 12.4.5 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488 12.4.6 查询优化 . JtaTransactionManager？ . . . . . . . . . . . . . . . . . . 531 13.1.2 JDBC Oracle 表名、字段名配置大小写在加载 metadata 元数据时结果不正确？ 531 13.1.3 JDBC 使用 MySQL XA 事务时报 SQLException: Unable to unwrap to interface com.mysql.jdbc.Connection

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 50 2.4.7 存储 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 451 9.2.2 下推计算结果缓存 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1231 13 11.9.4 外部存储 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

. . . . . . 39 计算节点过载保护 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 存储节点限流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 8.5.5 核心概念 . . . 4 SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 12.4.5 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 12.4.6 查询优化 . 4.1 分片 Cloud not resolve placeholder ⋯in string value ⋯异常的解决方法? . . . . 508 13.4.2 分片 inline 表达式返回结果为何出现浮点数？ . . . . . . . . . . . . . . . . . . . 508 13.4.3 分片如果只有部分数据库分库分表，是否需要将不分库分表的表也配置在分片规 则中？

. . . . . . 39 计算节点过载保护 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 存储节点限流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 8.5.5 核心概念 . . . 4 SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441 12.4.5 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441 12.4.6 查询优化 . 4.1 分片 Cloud not resolve placeholder ⋯in string value ⋯异常的解决方法? . . . . 487 13.4.2 分片 inline 表达式返回结果为何出现浮点数？ . . . . . . . . . . . . . . . . . . . 487 xi 13.4.3 分片如果只有部分数据库分库分表，是否需要将不分库分表的表也配置在分片规

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 45 2.4.7 存储 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 382 9.2.2 下推计算结果缓存 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 827 11.9.4 外部存储 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 40 2.4.7 存储 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 354 9.2.2 下推计算结果缓存 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 763 11.9.4 外部存储 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 40 2.4.7 存储 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 363 9.2.2 下推计算结果缓存 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 785 11.9.4 外部存储 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

. . . . . . 37 计算节点过载保护 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 存储节点限流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.6.5 核心概念 . . . 4.4 SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332 7.4.5 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332 7.4.6 查询优化 . 8.3.1 分片 Cloud not resolve placeholder ⋯in string value ⋯异常的解决方法? . . . . 423 8.3.2 分片 inline 表达式返回结果为何出现浮点数？ . . . . . . . . . . . . . . . . . . . 424 8.3.3 分片如果只有部分数据库分库分表，是否需要将不分库分表的表也配置在分片规 则中？