Curve文件系统元数据持久化方案设计
key_value_pairs 其他说明 实现 1、inode、entry 的编码 2、KVStore Q&A 单靠 redis 的 AOF 机制能否保证数据不丢失? redis 的高可用、高可扩方案? redis + muliraft 存在的问题? redis 改造 vs 自己实现? redis 中哈希表实现的优点? 参考 前言 根据之前讨论的结果,元数据节点的架构如下图所示,这里涉及到两部分需要持久化/编码的内容: std::string filePtah; // WAL dump (WAL : curvefs.waldump : curvefs.dump) }; Q&A© XXX Page 9 of 12 单靠 redis 的 AOF 机制能否保证数据不丢失? 不能,因为 AOF 与 SET/DEL 这些操作不是同步进行的,即使刷入文件配置项 开启最高级别的 always 选项,也有可能丢失一个事件循环的数据,实现如下: 持久化更不能),结论就是单靠 redis 无法保证数据 100% 不丢失(这主要是 redis 基于性能考量,毕竟纯内存数据库,如果利用 WAL 每次写文件再 sync,那么性能就会下降很多) 所以,单靠 redis 的方案是不行了. redis 的高可用、高可扩方案? 主要是 redis cluster + 主从复制 (或者第三方 codis + 哨兵) redis cluster/codis0 码力 | 12 页 | 384.47 KB | 5 月前313 Istio 流量管理原理与协议扩展 赵化冰
Protocol Header Layer 7 Protocol Data Istio 支持的七层协议非常有限:HTTP 1.1、 HTTP2、 gRPC 其余协议只能在四层进行处理(Thrift、Redis 等其他七层协议的控制面支持非常有限) 11 Istio 协议扩展:控制面和数据面需要进行的改动 apiVersion: networking.istio.io/v1alpha3 kind: 控制面的扩展性好 问题: • 需要修改 Pilot、xDS 协议 和 Envoy Filter 14 Istio 协议扩展:EnvoyFilter Redis Proxy https://github.com/zhaohuabing/istio-redis-culster EnvoyFilter 15 Istio 协议扩展:控制面扩展机制 优点: • 对 Istio 和 Envoy 无侵入 Aeraki: 为Istio提供七层协议扩展的开源项目,可以支持 Dubbo、 Thrift、Redis以及私有协议,目前已支持: • Dubbo 缺省路由 • Dubbo version-based routing • Dubbo traffic splitting • 后续规划: • 其他协议支持:Thrift,Redis ,TARS … • 在 TCM 中提供托管的 Aeraki,为客户提供第三方协议支0 码力 | 20 页 | 11.31 MB | 5 月前3进击的 Traefik | 云原生边缘路由器探秘
containerPort: 443 hostPort: 443 - name: redis containerPort: 6379 hostPort: 6379 args: - --entrypoints.web.Address=:80 - --entrypoints.websecure.Address=:443 - --entrypoints.redis.Address=:6379 - --providers.kubernetescrd us/v1alpha1 kind: IngressRouteTCP metadata: name: redis spec: entryPoints: - redis routes: # 特定的域名需要指定对应的TLS证书 - match: HostSNI(`*`) services: - name: redis port: 6379More Info https://docs.traefik.io/谢谢0 码力 | 35 页 | 8.58 MB | 5 月前3陌陌Service Mesh架构实践
微服务体系的其他产品也均为自研方案6/24 MOA 1.0微服务体系整体架构 注册中心 • Redis作为底层存储 • 跨语言地址发现服务Lookup • 中心化存活检测 多语言支持 • Java、PHP、Python、Go、NodeJs • Redis传输协议 / 复用Redis客户端 • 服务发布Proxy / 并行调用Proxy 服务治理 • 服务治理平台、配置中心0 码力 | 25 页 | 1.25 MB | 5 月前3大规模微服务架构下的Service Mesh探索之路
(Open Policy Agent) • rbac(连接到Istio CA) ü 实现Quota的Adapter • Memquota (基于单机内存) • Redisquota (基于外部redis) ü 实现Report的Adapter • Circonus • Cloudwatch • Dogstatsd • Fluentd • Prometheus • Solarwinds 同意视为基础设置, 甚至可能集成更多, 这里的抽象隔离是 我们认可的 但是这些??更应该 视为基本能力,直接 做成Mesh内置功能 List backend Redis for Quota memquota List backend Redis for Quota Istio现有的Mixer Adapter: list redisquota 同步阻塞 同步阻塞 异步批量 同步阻塞0 码力 | 37 页 | 7.99 MB | 5 月前3Remote Execution Caching Compiler (RECC)
larger physical machines© 2024 Bloomberg Finance L.P. All rights reserved. Caching Action Cache Redis CAS S3 PostgreSQL recc (compiler launcher) Client Host BuildBox-CASD (Local Caching Proxy)0 码力 | 6 页 | 2.03 MB | 5 月前3阿里云容器服务大促备战
Idempotent - Horizontal scalable Mysql Kafka TIDB Elasti c Search Tensor Flow Spark Flink Redis Zoo keeper云原生实时计算与人工智能@微博 2.4倍性能提升 百亿实时样本 万亿维度模型云原生基础设施 新生态 新算力 新基石 全球化部署 单集群万节点规模 云边端一体化0 码力 | 17 页 | 17.74 MB | 5 月前3使用Chaos Mesh来保障云原生系统的健壮性-周强
Test monitoring and alerting system ○ Simulate poor internet connection ● Testing components(redis rabbitmq scheduler) ● Testing bugs 3+ 20 ! Active User Community0 码力 | 28 页 | 986.42 KB | 5 月前314-Chaos Mesh 在网易伏羲私有云自动化故障注入实践-张慧
Chaos Mesh在网易伏羲的实践 For FuXi , 结合流量回放在测试环境真实模拟用户流量;或真实线上集群上混沌; For Chaos Mesh , 通用组件的开箱即用;比如 Redis、Kafka等等 欢迎对混沌测试,对私有云稳定性感兴趣的同学一起关注云原生社区 stability SIG 、 Chaos Mesh 社区和网易伏羲 ~ 云原生社区 THANKS0 码力 | 25 页 | 3.33 MB | 5 月前3网易云Service Mesh的产品架构与实现
envoy 降级 限流 路由 日志收集 日志分析 调用次数 调用时间 服务治理 日志分析 统计监控 Data Stream Kafka Storm集群 Hbase Hadoop Redis DDB NQS 监控平台 用户空间VPC 管理控制服务 云主机 云网络 云硬盘 UAS Agent 对象存储 UAS Server OpenStack 管控节点(主) 管控节点(备)0 码力 | 35 页 | 6.33 MB | 5 月前3
共 25 条
- 1
- 2
- 3