协议、继承 Redis 便捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 ## Redis 问题 - 恢复时间长 - 一主多从, 主从切换代价大 - 缓冲区写满问题 - 成本问题 ## Redis 问题 ## • 恢复时间长 – 50G redis 回复时间70分钟 – 同时开启aof 和 rdb ## Redis 问题 ## • 一主多从, 主从切换代价大 一月一个小版本, 二月一个大版本 ## Pika 开发现状 • 双主支持 • Pika hub 提供多机房写入支持 • 支持sentinel • 支持codis ## Pika 总结 - 恢复时间长 - 一主多从, 主从切换代价大 - 缓冲区写满问题 - 内存昂贵问题 ## Pika vs redis ## • 劣势 ## – 由于Pika是基于内存和文件来存放数据, 所以性能肯定比Redis低一些

分布式的双主问题只从存储系统解决 ## 这些设计给BFS带来哪些优势？ ||HDFS|BFS| |---|---|---| |名字节点扩展方式|联邦式分裂的目录树|分布式统一的目录树| |宕机恢复时间|分钟级|秒级| |外部依赖|ZooKeeper & QJM|无| |开发语言|Java|C++| ## Q&A • 欢迎参与BFS的开发 • https://github.com/baidu/bfs

扩展性提升 • 无需改变或改造业务应用代码 • 降低控制平面的节点数和服务依赖 ## 运维价值 • 降低大规模集群的运维难度 • 可通过HDFS API和Distcp进行快速迁移 • 降低系统恢复时间 - 尽可能的减少NN Java GC带来的无响应问题 计算 AI/ML HIVE/IMPALA/SPARK KAFKA / FLINK OTHER WORKLOADS ![Imag

[Image](/uploads/documents/0/9/e/3/09e38610ff888e0fd1b2626578fba41c/p25_2.jpg) ## 自治 ## • 自动故障恢复 - 多对多，恢复时间短 • 精确的流量控制，对io几乎无影响 

则rdb也不会被恢复进内存，此时如果有新的请求进来后则原先的rdb文件被重写。 如果只配置了AOF，重启时加载AOF文件恢复数据。 恢复速度参见新浪的测试结果： 恢复 大小(G) 恢复时间 恢复时间/G 内存 2.04 0 0 rdb 0.65 19 29.23 aof 11 508 46.18 rewrite aof 4 194 48.50 这个结果是可信的，

场景二：某应用运行过程中，某几台机器由于磁盘满，或者是宿主机资源争抢导致load很高，客户端出现调用超时。 客户端摘除 • 实时性高 - 需要关注错误率阈值、隔离机器的比例阈值，及被摘除后恢复时间 • 更灵活的摘除策略：调整权重 全局摘除：监管控一体 • 维度更加丰富 摘除后动作 • 弹性扩容替换故障机器 ![Image](/uploads/documents/8/2/b/6/

## SERVICE MESH MEETUP #6 广州站 ## 虎牙直播在微服务改造中的实践 张波 虎牙基础保障部中间件团队负责人 2019.8.11 ## 微服务改造事项 数据库故障恢复时间长 服务故障牵引慢，流量接入生效时间长 DNS生效慢 内部服务无 就近接入能 服务性能下降流量不摘除 DNS-F在数据库场景的落地 ![Image](/uploads/doc

InnoDB集群副本可以有1-9个成员。 ## 业务要求 …… …… …… …… …… …… …… …… …… …… ## 业务需求 概念 - RTO & RPO RTO: 恢复时间目标 从单个故障中恢复需要多长时间 RPO: 恢复点目标 发生故障时可能丢失多少数据 ## 故障类型： 高可用性：单服务器故障，网络分区 灾难恢复：整个区域/网络故障 人为错误：个别表问题

0_5.jpg) ## 自动故障恢复 Curve可在多种软硬件故障场景（如单mds故障、单ChunkServer故障、硬盘故障、网络丢包等）实现自动恢复，保障存储服务高可用性。 ☐ 多对多，恢复时间短 ☐ 精确的流量控制，对io影响很小 Kill一个节点所有ChunkServer进程 ![Image](/uploads/documents/6/f/3/4/6f347c8697f107