⾃带的复制、Sentinel 和集群功 能， ⽤户可以将⾃⼰的数据库扩展⾄任意⼤⼩。 ⽆论你运营的是⼀个⼩型的个⼈⽹站， 还是⼀个为上千万 消费者服务的热⻔站点， 你都可以在 Redis 找到你想要的功能， 并将其部署到你的服务器⾥⾯。 ⻛驰电掣般的执⾏速度 Redis 是⼀款内存数据库， 它将所有数据都储存在内存⾥⾯。 因为计算机访问内存的速度要远远⾼于访问 硬盘的速度， 因此与基于硬盘设计的传统数据库相⽐， Redis 接开始使⽤ Redis 。 此外，包括亚⻢逊、⾕歌、RedisLabs、阿⾥云和腾讯云在内的多个云服务提供商都提 供了基于 Redis 或兼容 Redis 的服务， 如果你不打算⾃⼰搭建 Redis 服务器， 那么上述的这些提供商可能 是⼀个不错的选择。 图 1-1 Redis 特⾊⼀览 1.2 内容编排 本书由数据结构与应⽤、附加功能和多机功能三个部分共⼆⼗章组成。 在数据结构与应⽤部分， 书本介绍了 保证命令安全性的事务和 Lua 脚本功能， 还有扩展服务器特性的模块功能等等。 这些功能在为⽤户提 供⽅便的同时， 也进⼀步扩⼤了 Redis 的适⽤范围， 读者可以通过阅读这⼀部分来学会如何将 Redis 应⽤在更 多场景中。 多机功能部分介绍了 Redis 的三项多机功能， 它们分别是复制、Sentinel 和集群。 其中复制⽤于创建多个 Redis 服务器的副本， 并藉此提升整个 Redis 系统的读性能以及容灾能⼒。

. . 52 作业统计 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 作业服务器状态展示 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 作业分片状态展示 API . . . . . . . 72 6.3.3 作业运行状态监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 监听作业服务器存活 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 6.3.4 运维平台 . . . . . . . . 行，每台任务服务器只运行分配给该 服务器的分片。随着服务器的增加或宕机，ElasticJob 会近乎实时的感知服务器数量的变更，从而重新为 分布式的任务服务器分配更加合理的任务分片项，使得任务可以随着资源的增加而提升效率。 任务的分布式执行，需要将一个任务拆分为多个独立的任务项，然后由分布式的服务器分别执行某一个 或几个分片项。 举例说明，如果作业分为 4 片，用两台服务器执行，则每个服务器分到

数据的一致性，一般都是采用单点写入，本方案采用 keepalived 中的 sorry_server 来实现写入数据库为单点的需求。本方案实现的功能是当网络有问题、 mysql 有问题、服务器宕机、keepalived 服务停止后,服务器能自动跳转到备用机， 当主服务器服务启动起来后会自动切换回来。 2.2 方案架构图 2.3 方案优缺点 优点：  安装配置简单，实现方便，高可用效率好，可以根据服务与系统的可用性 扩展不是很方便。  可以在后面添加多个从服务器，并做到负载均衡。 缺点：  在启动或者恢复后会立即替换掉定义的 sorry_server，因此如果要实现指 定条件替换或者不替换需要通过其他方式实现，比如：临时更改 mysql 的端口等。  切换需要 1s 左右的时间。 2.4 方案实战 2.4.1 适用场景 这个方案适用于只有两台数据库服务器并且还没有实现数据库的读写 分离的情况，读和写都配置 分离的情况，读和写都配置 VIP。这个方案能够便于单台数据库的管理 维护以及切换工作。比如进行大表的表结构更改、数据库的升级等都是 非常方便的。 2.4.2 实战环境介绍 服务器名 IP VIP 系统 Mysql Master 10.1.1.113 10.1.1.176 Centos 5.5 64bit 5.1.63 Backup 10.1.1.75 10.1.1.176

16-11-22 下午3:38 2 由此，业界认识到对于海量数据需要一种新的计算模式来支持，这种 模式就是可以支持 Scale-out 横向扩展的分布式并行数据计算技术。 当时，开放的X86服务器技术已经能很好的支持商用，借助高速网络（当 时是千兆以太网）组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 问 题 的数据库引擎层是基于著名的开源数据库 Postgresql的（下面会分析为什么采用Postgresql，而不是mysql等等）， 但是 Postgresql 是单实例数据库，怎么能在多个 X86 服务器上运行多 个实例且实现并行计算呢？为了这，Interconnnect 大神器出现了。在 那一年多的时间里，大咖们很大一部分精力都在不断的设计、优化、 开发 Interconnect 这个核心软件组件。最终实现了对同一个集群中多 多节点上，其提供性能几乎是线性的增长，这样一个集群提供的性能 能够很轻易的达到传统数据库的数百倍甚至数千倍，所管理数据存储 规模达到 100TB~ 数 PB，而你在硬件上的投入，仅仅是数台一般的 X86 服务器和普通的万兆交换机。 Big Date2.indd 6 16-11-22 下午3:38 Greenplum 精粹文集 7 Greenplum 采用 Postgresl

SQLite 数据库的快照。 代理装入快照，将文件复制到 XBSA 数据对象中，然后将其发送到 NetBackup XBSA 接口。NetBackup XBSA 接口将此数据写入由 NetBackup 介质服务器管理的装入 介质或磁盘存储。 对于未配置有 LVM 的 Linux 操作系统，代理直接从文件系统复制数据库文件。 NetBackup for SQLite 支持的功能 表 1-1 列出了代理支持的功能。 veritas.com/support/en_US/article.DOC5332 NetBackup for SQLite 的前提条件 确保满足以下前提条件： ■ NetBackup 安装在主服务器、介质服务器和客户端上，并且可以正常工作。 ■ SQLite 数据库安装在客户端上，并且可以正常工作。 注意：如果 NetBackup 从之前的版本升级到 10.1 或更高版本，则 NetBackup DataStore 策略定义属性、日程表、客户端列表和备份选择。 使用 DataStore 策略配置 SQLite 数据库备份 1 以管理员身份 (Windows) 或 root 身份 (Linux) 登录到主服务器。 2 在“NetBackup 管理控制台”中，展开“NetBackup 管理”，然后单击“策 略”。 3 在“所有策略”窗格中，右键单击“所有策略的摘要”，然后单击“新建策 略”。 4

SQLite 数据库的快照。 代理装入快照，将文件复制到 XBSA 数据对象中，然后将其发送到 NetBackup XBSA 接口。NetBackup XBSA 接口将此数据写入由 NetBackup 介质服务器管理的装入 介质或磁盘存储。 对于未配置有 LVM 的 Linux 操作系统，代理直接从文件系统复制数据库文件。 NetBackup for SQLite 代理 支持的功能 表 1-1 列出了代理支持的功能。 及更高版本。 ■ Microsoft Windows 8.1 或更高版本。 NetBackup for SQLite 代理 的安装先决条件 安装之前，请确保满足以下先决条件： ■ 已在主服务器、介质服务器和客户端上安装 NetBackup 8.2 或更高版本，并且 可以正常工作。 ■ 确保 SQLite 代理和 NetBackup 的版本相同。如果将 NetBackup 升级到更高版 本，则还必须升级代理版本。 nbsqlite 操作的 NetBackup 主服务器。 MASTER_SERVER_NAME 此参数无默认值。 备份 指定 DataStore 策略名称。 POLICY_NAME 此参数无默认值。 备份 标识在创建 DataStore 策略时 配置的备份日程表。 SCHEDULE_NAME 如果未设置此参数，则默认 为 NetBackup 主服务器。 重定向还原和查询 定义具有代理的 NetBackup

Copy-On-Write 导致主节点进程内存使用量的消耗，极端 情况下造成主节点内存溢出程序异常退出。 Redis 主节点生成备份文件导致服务器磁盘 IO 和 CPU (压缩)资源消耗。 发送数 GB 大小的备份文件文件，会导致服务器网络出口爆增，磁盘顺序 IO 吞吐 量高，期间会影响业务正常请求响应时间(以及其他连锁影响)。 使用场景 对 Redis 云数据库 Redis 双副本集群版实例由 Proxy 服务器（服务代理）、分片服务器和配置服务器三个组件组成。 云数据库 Redis 版 产品简介 14 - Proxy 服务器： 单节点配置，集群版结构中会有多个 Proxy 组成，系统会自动对其实现负载均衡及故障转移。 分片服务器： 每个分片服务器均是双副本高可用架构，主节点故障之后，系统会自动进行主备切换保证服务高可用 主备切换保证服务高可用 。 配置服务器： 用于存储集群配置信息及分区策略，目前采用双副本高可用架构，保证高可用。 注意： 三个组件的个数和配置，在购买集群版相应规格时由系统固定指定，用户暂时不能灵活选择。规格详 情如下： 集群版规格 Proxy 个数 分片服务器个数 单个分片服务器内存大 小 16 GB 集群版 8 8 2 GB 32 GB 集群版 8

SETNX SETRANGE STRLEN HyperLog Log Pub/Sub （发布/订 阅） Transacti on（事务 ） Connecti on（连接 ） Server（ 服务器） Scripting( 脚本) Geo(地理 位置) PFADD PSUBSCRI BE DISCARD AUTH FLUSHAL L EVAL GEOADD PFCOUNT PUBLISH CONFIG GET 云数据库 Redis 版 快速入门 8 暂未开放的命令 集群实例不支持的命令 MONITO R SLOWLO G Keys（键） Server（服务器） MIGRATE BGREWRITEAOF BGSAVE CONFIG REWRITE CONFIG SET CONFIG RESETSTAT COMMAND COMMAND COUNT Redis 版 ，可以在 ECS Windows 云服务器中通过 netsh 进行端口映射实现。 登录 ECS Windows 服务器，在 cmd 执行以下命令： redis-cli -h 实例连接地址 -a 密码 netsh interface portproxy add v4tov4 listenaddress=ECS服务器的私有IP地址 listenport=6379

构师 http://biaobean.pro 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 个上百节点Hadoop大数据集群。 – 曾在Intel编译器部门从事服务器中间件软件开发，擅长服务器软件调 试与优化，与团队一起开发出世界上性能领先的XSLT 语言处理器 – 2010 年后开始Hadoop 产品开发及方案顾问，先后负责Hadoop 产品 化、HBase 性能调优，以及行业解决方案顾问 具有容错特性，能够将数据持久化的非易失性 存储中 – 使用HDFS做底层存储，可利用Hadoop的压缩 Codec等减少空间占用 • 自动水平扩展 – 只需要加入新的结点即可提高存储容量和吞吐量 – 服务器能够被动态加入或者删除（用以维护和升级） – 服务器自动调整负载平衡 5 Postgres Conference China 2016 中国用户大会 HBase的原子性保证 HBase仅保证对行操作的原子性 • 任何行级的操作是原子的 2016 中国用户大会 场景及应用 8 Postgres Conference China 2016 中国用户大会 9 HBase Sweet Spot 1. 使用主流廉价服务器搭建的单一大规模集群 （服务器数目大于100甚至1000台） 2. 小规模的Scan操作(<1百万行)和Get操作 3. 运维难度大，大规模部署后单位运维成本低 4. 强一致性、开源、兼容私有部署/公有云部署 5

般为空）的情况下，会导致任意用户在可以访问目标服务器的情况下未授权访问 Redis 以及读取 Redis 的数据。攻击者在未授权访问 Redis 的情况下，利用 Redis 自身的提供的config 命令，可以进行写文件 操作，攻击者可以成功将自己的ssh公钥写入目标服务器的 /root/.ssh 文件夹的authotrized_keys 文件 中，进而可以使用对应私钥直接使用ssh服务登录目标服务器、添加计划任务、写入Webshell等操作。 造成未授权访问的根本原因就在于启动 Mongodb 的时候未设置 --auth 也很少会有人会给数据库 添加上账号密码（默认空口令），使用默认空口令这将导致恶意攻击者无需进行账号认证就可以登陆到 数据服务器。 漏洞利用 环境介绍 环境搭建 这里使用docker （https://www.runoob.com/docker/docker-tutorial.html 可自行Google） 漏洞简介以及危害 默认情况下 Jenkins面板中用户可以选择执行脚本界面来操作一些系统层命令，攻击者可通过未授 权访问漏洞或者暴力破解用户密码等进入后台管理服务，通过脚本执行界面从而获取服务器权限。 漏洞利用 环境介绍 环境搭建 下载地址：http://mirrors.jenkins.io/ 测试机：Windows10 目标靶机: kali ip地址: 192.168