大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 SACC2017 简介 • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 SACC2017 Pika 的出现并不是为了替代 Redis，而是 Redis 的场景补充。 Pika 力求在完全兼容 Redis 协议、继承 Redis 便 捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 Pika 定位 SACC2017 Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题 SACC2017 问题分析 • 成本问题 • 可用性问题 • 同步问题 • 易用性问题 SACC2017 问题分析 • 尽可能兼容redis 协议 • 使用基于磁盘的存储引擎rocksdb 实现多 数据接口接口 • 网络库 • 添加binlog 模块 SACC2017 Pika 整体结构 SACC2017 网络模块--Pink •

）、集合（Set）、有序集合（SortedSet）、哈希表 （Hash）等多种数据类型，及事务（Transactions）、消息订阅与发布（Pub/Sub）等高级功能。 通过“内存+硬盘”的存储方式，云数据库 Redis 版在提供高速数据读写能力的同时满足数据持久化需求。 云数据库 Redis 版支持灵活的部署架构：单副本、双副本、集群版，能够满足不同的业务场景。 单节点架构： 混合存储公测开通须知 Redis混合存储系列将于2018年3月29日至2018年5月30日期间，进行公测。公测期间，将给部分适用于 Redis混合存储系列场景的用户提供购买资格。 在公测期间创建Redis混合存储系列的实例有如下事项需要您注意。 云数据库 Redis 版 产品简介 1 - - 公测开通对象 对Redis混合存储实例有很强的需求， ）可用区E和华北2（北京）可用D开通实例。公测期间仅支持这在 这两个可用区开通混合存储系列实例，其他地域及可用区暂不支持。 公测开通规格 公测期间仅开放32G内存64G磁盘及64G磁盘128G内存两款主从版本规格供用户选用，用户可任选一 款规格免费试用两个月。 公测期间仅支持预付费模式的混合存储系列实例，按量付费暂不支持。 Redis 4.0 新功能介绍

版，请先了解使用限制以及关于 Redis 管理控制台。 通常，从新购实例到可以开始使用实例，您需要完成如下操作： Redis 管理控制台是用于管理 Redis 实例的 Web 应用程序，您可以通过该控制台上直观的用户界面进行实例 创建、网络设置、实例管理、密码设置等操作。 Redis 管理控制台是阿里云管理控制台的一部分，关于控制台的通用设置和基本操作请参见使用阿里云管理控 云数据库 Redis 控制台的通用界面，若有差异，请以控制台实际界面为准。 前提条件 使用阿里云账号登录 Redis 管理控制台。若没有阿里云账号，请单击注册。 控制台简介 控制台首页 对于 Redis 所有类型的实例而言，控制台首页的界面信息都是相同的。 登录 Redis 管理控制台，进入实例列表页面，如下图所示（仅为示例，请以实际界面为准）。 实例列表页面中会展示实例 主动过期，系统后台会周期性的检测，发现已过 期的key时，会将其删除。 - 被动过期，当用户访问某个key时，如果该key已 经过期，则将其删除。 空闲连接回收机制 服务端不主动回收 Redis 空闲连接，由用户管理。 数据持久化策略 采用 AOF_FSYNC_EVERYSEC 方式，每秒 fysnc。 Keys（键） String（字符 串） Hash（哈希 表） List（列表） Set（集合） SortedSet（

02、丰富的数据类型 03、丰富的接口 04、支持丰富的语言 PostgreSQL 是全功能的开源数据库，是唯一支持事务、子 查询、多版本幵行控制系统、数据完整性检查等特性的一种 自由软件的数据库管理系统 PostgreSQL 的特性覆盖了 SQL-2/SQL-92 和 SQL-3/SQL- 99，是目前世界上支持最丰富的数据类型的数据库 PostgreSQL 对接口的支持也是非常丰富的，几乎支持所有 id 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 通过FDW可以访问任何一种存储 FDW接口 存储类型 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 可以读取数据库以外的文件，比如 就会获取自己所需的跨多个Redis 实例的所有数据 • 密码隔离 • 角色隔离 • 开发只能读取实例中的数据 • 运营可以访问和修改实例的数据 • DBA需要对实例进行管理 问题分析 登陆权限隔离 统一管理 KEY权限隔离 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 谢谢

用户 -MongoDB 自身带有一个HTTP服务和并支持REST接口。在2.6以后这些接口默认是关闭的。mongoDB 默认会使用默认端口监听web服务，一般不需要通过web方式进行远程管理，建议禁用。修改配置文件 或在启动的时候选择 –nohttpinterface 参数 nohttpinterface=false -启动时加入参数--bind_ip 127.0.0.1 Jenkins 未授权访问漏洞 漏洞简介以及危害 默认情况下 Jenkins面板中用户可以选择执行脚本界面来操作一些系统层命令，攻击者可通过未授 权访问漏洞或者暴力破解用户密码等进入后台管理服务，通过脚本执行界面从而获取服务器权限。 漏洞利用 环境介绍 环境搭建 下载地址：http://mirrors.jenkins.io/ 测试机：Windows10 目标靶机: 4-1.4.4-14.zip 攻击机: Kali 目标靶机: Windows Server 2012 ip地址: 10.0.4.138 连接工具:Xshell 解压压缩包到指定目录 使用管理员权限运行以下命令： memcached.exe -d install 启动服务： memcached.exe -d start 未授权访问测试 为了方便测试这里将防火墙关闭 查看进程服务以及端口

简洁⾼效、安全稳定的印象已经深⼊⼈⼼。 ⽆论是国内还是国外， 从财富五百强到⼩ 型初创公司都在使⽤ Redis ， 很多云服务提供商还以 Redis 为基础构建了相应的缓存服务、消息队列服务以及内 存存储服务 —— 当你使⽤这些服务时， 你实际上就是在使⽤ Redis 。 除了变得越来越受欢迎之外， Redis 在过去数年的另⼀个变化就是更新速度越来越快， 功能也变得越来越多、越 来越强⼤： ⽐如说， 并知悉本书使⽤的 Redis 版本以及本书配套的读者服务 ⽹站。 1.1 Redis 简介 Redis 是⼀个主要由 Salvatore Sanfilippo （antirez）开发的开源的内存数据结构存储器， 它经常被⽤作数据 库、缓存以及消息代理等⽤途。 Redis 因为它丰富的数据结构、极快的速度、⻬全的功能⽽为⼈所知， 它是⽬前内存数据库⽅⾯的事实标准， 在 互联⽹上有⾮常⼴泛的应⽤， 包括 通过这些程序示例， 读者可以进⼀步加 深对命令的认识， 并学会如何在实际中应⽤这些命令， 从⽽达到学⽽致⽤的⽬的。 附加功能部分介绍了 Redis 在数据结构的基础上， 为⽤户提供的额外功能。 其中包括管理数据结构的数据库管理 功能和⾃动过期功能， 将数据结构持久化⾄硬盘从⽽避免数据丢失的持久化功能， 提⾼多条命令执⾏效率的流⽔ 线功能， 保证命令安全性的事务和 Lua 脚本功能， 还有扩展服务器特性的模块功能等等。

Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 仅仅需要毫秒级 别的时间, 一条消息可以 被全世界共享起来 互联网的规模也从单独 一个数据中心的部署方 式转变为多数据中心, 甚 至是跨区域的部署模式 多区域部署 Serverless 分布式存储 Redis 内存数 据库 支持多种 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖. 机票的业务需要从 上游供应商处收集舱位信息, Redis 方便 的多种数据结构类型对于储存这种数据 比较方便. 同时由于供应商是在全球分布的特性, 就更需要一个能够多点写入的 Redis