一 第五章- 场好案例 -ET 。一。27 三本下 ia从 写 瑟 专用服务器 册反复制专用服务路 |。 dasriaterabher pvmoe To ng Tv 光大银行新一代财富管理平台系统架构图 用户收益 *。 TiDB 经过大规模金融场景 业务范围涵盖涵半投资银行直接投资.证券.保险.基金、飞机租 赁.资产管理,金融科技等多个领域,为全球客户提供全面的金融服务。 业务挑战 中国银行在生产实践中采用中 Zabbix 运维监控方案, 作为开源云原生方案, Zabbix 一直使用 MySQL 作为 后端存储, 在面对更大规模监控需求的时候, 单机 MySQL 数据库面临性能和容量瓶颈, 无法支持几T量级 的数据, 使得监控对象的数量和数据存储时间不能莱得。 TiDB 是兼容 MySQL 协议的分布式数据库, 在易用性与平滑升级方面比其他监控后台数据库方案更有优 势,中国银行决定采用 TiDB 痊换 Zabbix 后端的 MySQL,构建新一代运维监控平台。 Tizabbix 解决方案 在不改动 Zabbix 源码的情况下,采用 TiDB 普换 MYSQL, 实现监控数据的采集,存储和查询, 把监控对象的 自动注册改为使用 API 延迟注册, 解决事务冲突的问题TiDB

5.可配置的load balance和重连策略 6、query build 7、Object mapper Datastax java driver 1.ansible自动部署 2.Zabbix监控 运维和监控 运维和监控 性能调优 1.集群调优 1)Cassandra本身参数优化设置 2)JVM参数优化设置 2.schema设计优化 性能调优-集群调优化 集群参数设置 1

⾃带的复制、Sentinel 和集群功 能， ⽤户可以将⾃⼰的数据库扩展⾄任意⼤⼩。 ⽆论你运营的是⼀个⼩型的个⼈⽹站， 还是⼀个为上千万 消费者服务的热⻔站点， 你都可以在 Redis 找到你想要的功能， 并将其部署到你的服务器⾥⾯。 ⻛驰电掣般的执⾏速度 Redis 是⼀款内存数据库， 它将所有数据都储存在内存⾥⾯。 因为计算机访问内存的速度要远远⾼于访问 硬盘的速度， 因此与基于硬盘设计的传统数据库相⽐， Redis 接开始使⽤ Redis 。 此外，包括亚⻢逊、⾕歌、RedisLabs、阿⾥云和腾讯云在内的多个云服务提供商都提 供了基于 Redis 或兼容 Redis 的服务， 如果你不打算⾃⼰搭建 Redis 服务器， 那么上述的这些提供商可能 是⼀个不错的选择。 图 1-1 Redis 特⾊⼀览 1.2 内容编排 本书由数据结构与应⽤、附加功能和多机功能三个部分共⼆⼗章组成。 在数据结构与应⽤部分， 书本介绍了 保证命令安全性的事务和 Lua 脚本功能， 还有扩展服务器特性的模块功能等等。 这些功能在为⽤户提 供⽅便的同时， 也进⼀步扩⼤了 Redis 的适⽤范围， 读者可以通过阅读这⼀部分来学会如何将 Redis 应⽤在更 多场景中。 多机功能部分介绍了 Redis 的三项多机功能， 它们分别是复制、Sentinel 和集群。 其中复制⽤于创建多个 Redis 服务器的副本， 并藉此提升整个 Redis 系统的读性能以及容灾能⼒。

. . 52 作业统计 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 作业服务器状态展示 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 作业分片状态展示 API . . . . . . . 72 6.3.3 作业运行状态监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 监听作业服务器存活 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 6.3.4 运维平台 . . . . . . . . 行，每台任务服务器只运行分配给该 服务器的分片。随着服务器的增加或宕机，ElasticJob 会近乎实时的感知服务器数量的变更，从而重新为 分布式的任务服务器分配更加合理的任务分片项，使得任务可以随着资源的增加而提升效率。 任务的分布式执行，需要将一个任务拆分为多个独立的任务项，然后由分布式的服务器分别执行某一个 或几个分片项。 举例说明，如果作业分为 4 片，用两台服务器执行，则每个服务器分到

数据的一致性，一般都是采用单点写入，本方案采用 keepalived 中的 sorry_server 来实现写入数据库为单点的需求。本方案实现的功能是当网络有问题、 mysql 有问题、服务器宕机、keepalived 服务停止后,服务器能自动跳转到备用机， 当主服务器服务启动起来后会自动切换回来。 2.2 方案架构图 2.3 方案优缺点 优点：  安装配置简单，实现方便，高可用效率好，可以根据服务与系统的可用性 扩展不是很方便。  可以在后面添加多个从服务器，并做到负载均衡。 缺点：  在启动或者恢复后会立即替换掉定义的 sorry_server，因此如果要实现指 定条件替换或者不替换需要通过其他方式实现，比如：临时更改 mysql 的端口等。  切换需要 1s 左右的时间。 2.4 方案实战 2.4.1 适用场景 这个方案适用于只有两台数据库服务器并且还没有实现数据库的读写 分离的情况，读和写都配置 分离的情况，读和写都配置 VIP。这个方案能够便于单台数据库的管理 维护以及切换工作。比如进行大表的表结构更改、数据库的升级等都是 非常方便的。 2.4.2 实战环境介绍 服务器名 IP VIP 系统 Mysql Master 10.1.1.113 10.1.1.176 Centos 5.5 64bit 5.1.63 Backup 10.1.1.75 10.1.1.176

16-11-22 下午3:38 2 由此，业界认识到对于海量数据需要一种新的计算模式来支持，这种 模式就是可以支持 Scale-out 横向扩展的分布式并行数据计算技术。 当时，开放的X86服务器技术已经能很好的支持商用，借助高速网络（当 时是千兆以太网）组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 问 题 的数据库引擎层是基于著名的开源数据库 Postgresql的（下面会分析为什么采用Postgresql，而不是mysql等等）， 但是 Postgresql 是单实例数据库，怎么能在多个 X86 服务器上运行多 个实例且实现并行计算呢？为了这，Interconnnect 大神器出现了。在 那一年多的时间里，大咖们很大一部分精力都在不断的设计、优化、 开发 Interconnect 这个核心软件组件。最终实现了对同一个集群中多 多节点上，其提供性能几乎是线性的增长，这样一个集群提供的性能 能够很轻易的达到传统数据库的数百倍甚至数千倍，所管理数据存储 规模达到 100TB~ 数 PB，而你在硬件上的投入，仅仅是数台一般的 X86 服务器和普通的万兆交换机。 Big Date2.indd 6 16-11-22 下午3:38 Greenplum 精粹文集 7 Greenplum 采用 Postgresl

SQLite 数据库的快照。 代理装入快照，将文件复制到 XBSA 数据对象中，然后将其发送到 NetBackup XBSA 接口。NetBackup XBSA 接口将此数据写入由 NetBackup 介质服务器管理的装入 介质或磁盘存储。 对于未配置有 LVM 的 Linux 操作系统，代理直接从文件系统复制数据库文件。 NetBackup for SQLite 支持的功能 表 1-1 列出了代理支持的功能。 veritas.com/support/en_US/article.DOC5332 NetBackup for SQLite 的前提条件 确保满足以下前提条件： ■ NetBackup 安装在主服务器、介质服务器和客户端上，并且可以正常工作。 ■ SQLite 数据库安装在客户端上，并且可以正常工作。 注意：如果 NetBackup 从之前的版本升级到 10.1 或更高版本，则 NetBackup DataStore 策略定义属性、日程表、客户端列表和备份选择。 使用 DataStore 策略配置 SQLite 数据库备份 1 以管理员身份 (Windows) 或 root 身份 (Linux) 登录到主服务器。 2 在“NetBackup 管理控制台”中，展开“NetBackup 管理”，然后单击“策 略”。 3 在“所有策略”窗格中，右键单击“所有策略的摘要”，然后单击“新建策 略”。 4

SQLite 数据库的快照。 代理装入快照，将文件复制到 XBSA 数据对象中，然后将其发送到 NetBackup XBSA 接口。NetBackup XBSA 接口将此数据写入由 NetBackup 介质服务器管理的装入 介质或磁盘存储。 对于未配置有 LVM 的 Linux 操作系统，代理直接从文件系统复制数据库文件。 NetBackup for SQLite 代理 支持的功能 表 1-1 列出了代理支持的功能。 及更高版本。 ■ Microsoft Windows 8.1 或更高版本。 NetBackup for SQLite 代理 的安装先决条件 安装之前，请确保满足以下先决条件： ■ 已在主服务器、介质服务器和客户端上安装 NetBackup 8.2 或更高版本，并且 可以正常工作。 ■ 确保 SQLite 代理和 NetBackup 的版本相同。如果将 NetBackup 升级到更高版 本，则还必须升级代理版本。 nbsqlite 操作的 NetBackup 主服务器。 MASTER_SERVER_NAME 此参数无默认值。 备份 指定 DataStore 策略名称。 POLICY_NAME 此参数无默认值。 备份 标识在创建 DataStore 策略时 配置的备份日程表。 SCHEDULE_NAME 如果未设置此参数，则默认 为 NetBackup 主服务器。 重定向还原和查询 定义具有代理的 NetBackup

Copy-On-Write 导致主节点进程内存使用量的消耗，极端 情况下造成主节点内存溢出程序异常退出。 Redis 主节点生成备份文件导致服务器磁盘 IO 和 CPU (压缩)资源消耗。 发送数 GB 大小的备份文件文件，会导致服务器网络出口爆增，磁盘顺序 IO 吞吐 量高，期间会影响业务正常请求响应时间(以及其他连锁影响)。 使用场景 对 Redis 云数据库 Redis 双副本集群版实例由 Proxy 服务器（服务代理）、分片服务器和配置服务器三个组件组成。 云数据库 Redis 版 产品简介 14 - Proxy 服务器： 单节点配置，集群版结构中会有多个 Proxy 组成，系统会自动对其实现负载均衡及故障转移。 分片服务器： 每个分片服务器均是双副本高可用架构，主节点故障之后，系统会自动进行主备切换保证服务高可用 主备切换保证服务高可用 。 配置服务器： 用于存储集群配置信息及分区策略，目前采用双副本高可用架构，保证高可用。 注意： 三个组件的个数和配置，在购买集群版相应规格时由系统固定指定，用户暂时不能灵活选择。规格详 情如下： 集群版规格 Proxy 个数 分片服务器个数 单个分片服务器内存大 小 16 GB 集群版 8 8 2 GB 32 GB 集群版 8

SETNX SETRANGE STRLEN HyperLog Log Pub/Sub （发布/订 阅） Transacti on（事务 ） Connecti on（连接 ） Server（ 服务器） Scripting( 脚本) Geo(地理 位置) PFADD PSUBSCRI BE DISCARD AUTH FLUSHAL L EVAL GEOADD PFCOUNT PUBLISH CONFIG GET 云数据库 Redis 版 快速入门 8 暂未开放的命令 集群实例不支持的命令 MONITO R SLOWLO G Keys（键） Server（服务器） MIGRATE BGREWRITEAOF BGSAVE CONFIG REWRITE CONFIG SET CONFIG RESETSTAT COMMAND COMMAND COUNT Redis 版 ，可以在 ECS Windows 云服务器中通过 netsh 进行端口映射实现。 登录 ECS Windows 服务器，在 cmd 执行以下命令： redis-cli -h 实例连接地址 -a 密码 netsh interface portproxy add v4tov4 listenaddress=ECS服务器的私有IP地址 listenport=6379