r a f t 在 C u r v e 存 储 中 的 工 程 实 践 陈威Curve介绍 01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化项目背景 Curve是一个 高性能、更稳定、易运维 的 云原生 分布式存储系统，支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 • 对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 获客 用户 开发者 操作系统 芯片 数据库 云原生 AI训练 大数据 社区生态Curve介绍 01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化RAFT协议简介 什么是raft • raft 是一种新型易于理解的分布式一致性复制协议，由斯坦福大学的Diego Ongaro和John Ousterhout提出，《In

这个在inode的ExtentsTree字段 meta partition(raft group) Btree、B+ tree 好 有 tiny extent，多个文件共用 normal extent，属于一个文件 partition append→ master slave协议 overwrite → raft 更适合大文件顺序写 fastcfs 有元数据服务器 inode和dentry放一个结构体。 → skip list （key是name，每个目录下一个） 计算出来的 binlog，随时间会越来越大 差 DG Master/Slave glusterfs 无中心化服务器 dht算法 hash 扩展时大量迁移 client缓存 inode→ hashtable(gfid) dentry→ hashtable(name) inode扩展属性字段 和写数据一样 好 parent inode + name) segment kv → hashtable(key inode + offset) etcd 差 块设备，最小10GB segment + chunk raft 块设备的元数据管理 cephfs 3、各内存结构体 时间复杂度 空间复杂度 特点 可用实现 Btree 一个节点上保存多条数据，减少

显，其次就是告警分级原则。 每个告警都应该合理分级 基本每个监控系统都支持为告警规则配置不同的级别，基本上每个监控系统的用户也都知道应该做分级告 警。但是具体怎么分级，却没有一个行业共识，大家各做各的。这里我也分享一下我的理解，你可以参考 借鉴。 首先，不同级别的告警应该对应不同的处理逻辑，这样分级才有意义，比如通知渠道不同，通知范围不 同，或者介入处理的人的范围不同，处理时效不同 中的告 警和故障建立完美的对应关系，不过从降噪收敛角度来看，够用了。 3、根据时间 + 文本相似度做收敛 文本相似度需要引入算法，但是算法总得有个规律，我们很想把某个故障相关的告警聚拢到一起，但是显 然，很难有个行之有效的规律，没有规律的算法效果自然好不到哪儿去。 既然没办法把告警自动收敛成故障，那就手工来做。一个故障关联的关键告警，还是相对容易区分的，只 要把关键告 告警聚合 事件到告警的聚合比较容易，通常是用类似下面的算法来计算不同事件的关联关系： hash(32 + ["__name__=cpu_usage_idle", "host=host1"]) 这个值姑且称为事件 Hash，相同 Hash 的事件就被聚合为一条告警。更复杂的是告警到故障的合并，当 前我们支持基于规则的聚合，后面会基于算法聚合： 比如基于告警规则标题做聚合，某一时刻，基础网络故障，有

年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景 支持。增强服务器和云计算的特性，发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术； 同时发布边缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler CFS 调度类抢占、选核、选任务等功能的策略扩展， 提供精心设计的扩展点和丰富的辅助方法，帮助用户简单，高效的扩展策略。 • Numa Aware spinlock：基于 MCS 自旋锁在锁传递算法上针对多 NUMA 系统优化，通过优先在本 NUMA 节点内传递， 能大量减少跨 NUMA 的 Cache 同步和乒乓，从而提升锁的整体吞吐量，提升业务性能。 • 支持 TCP 压缩：大数据等场 的出现很好的 弥补了 K8S 流量编排的缺陷，与 K8S 互补，真正实现敏捷的云应用开发运维。但随着对服务网格应用的逐步深入，当前服 务网格的代理架构，数据面引入了额外的时延底噪开销，已成为业界共识的性能问题。 时延 以服务网格典型软件 istio 为例，网格化后，服务访问单跳时延增加 2.65ms，无法满足时延敏感型应用诉求。 底噪 istio 中，每个 sidecar 软件占用内存

分布式块存储服务 2. KVM块存储服务 3. iSCSI协议 4. 容器云块存储(CSI) 应用场景Curve块存储 1. 高可用性/高可靠性 (易运维) 2. RAFT一致性协议 3. CopySet分配算法 4. 拓扑结构 5. 高性能 6. chunkfilepool (降低写放大) 7. data stripe (增大并发) 8. zerocopy 9. 云原生 chunkserver按照故障域分组 4. copyset中的节点属于不同的 故障域 数据组织Curve块存储 IO流程Curve块存储 1. chunkserver负责数据的存储 2. RAFT协议保持数据的一致 性 3. chunkfile pool降低元数据开 销 Chunkserver服务Curve块存储 性能设计Curve块存储 在线升级设计 1. 客户端分成NebdClient与 完善高性能3副本存储引擎，支持混合盘 4. 文件存储支持数据存储到HDFS、rados等引擎 2. 性能 1. 完善RDMA/SPDK方案，发布稳定版本 2. 更高性能硬件选型、适配及性能调优 3. 大文件读写性能优化，RAFT优化，降低写放大 3. 功能 1. 文件存储支持回收站/生命周期管理/配额/用户权限等 2. 支持NFS、CIFS/SMB、HDFS等协议 3. 块存储支持按存储池创建卷Curve 社区介绍

Linux； Kali更新与升级； 基本设置。 大学霸 Kali Linux 安全渗透教程 5 第1章 Linux安全渗透简介 1.1 什么是安全渗透 渗透测试并没有一个标准的定义。国外一些安全组织达成共识的通用说法是，渗透 测试是通过模拟恶意黑客的攻击方法，来评估计算机网络系统安全的一种评估方 法，这个过程包括对系统的任何弱点、技术缺陷或漏洞的主动分析。这个分析是从 一个攻击者可能存在的位置来进行的 具是一款开源的绿色加密卷加密 软件，不需要生成任何文件即可在硬盘上建立虚拟磁盘。用户可以按照盘符进行访 问，所以虚拟磁盘上的文件都被自动加密，访问时需要使用密码解密。TrueCrypt 提供多种加密算法，包括AES、Serpent、Twofish、AES-Twofish和AES-Twofish- Serpent等。本节将介绍TrueCrypt工具的使用。 2.5.1 创建加密目录 使用True Location （7）在该界面可以看到前面创建的卷的名称和位置。然后单击Next按钮，将显示 如图2.12所示的界面。 图2.12 Encryption Options （8）在该界面选择加密算法，这里选择默认的加密算法AES，然后单击Next按 钮，将显示如图2.13所示的界面。 大学霸 Kali Linux 安全渗透教程 80 2.5 目录加密 图2.13 Volume Size （9）在该

GNU Software (http://www.gnu.org/prep/maintain/html_node/- index.html) 。尽管 Debian 不要求遵守这些规范，但它们作为纲领和共识仍然很有帮助。(参见 /usr/share/doc/ gnu-standards/standards.pdf.gz 和 /usr/share/doc/gnu-standards/maintain.pdf 请确认该共享库软件包仅仅包含预期中的文件，并且你的 -dev 软件包还奏效。 所有作为多体系结构软件包而同时安装到同一个文件路径的所有文件应当具有完全一致的文件内容。你必须小心由数 据字节序和压缩算法造成的区别。 A.5 Debian 本土软件包 如果一个软件包是仅仅为 Debian 维护的，或者是可能的本地使用，那么它的源码可以容纳所有的 debian/* 于其中。 这里有它的两种打包方式。

新版本ChunkServer性能优化CURVE基本架构 • 元数据节点 MDS • 管理和存储元数据信息 • 感知集群状态，合理调度 • 数据节点 Chunkserver • 数据存储 • 副本一致性，raft • 客户端 Client • 对元数据增删改查 • 对数据增删改查 • 快照克隆服务器CURVE基本架构 01 02 03 04 ChunkServer架构 ChunkServer核心模块 CopySetService。创建copyset等操 作 • RaftService。Braft内置的service， 完成raft成员之间的选举，日志复制， 安装快照等操作。 ChunkServer架构CopysetNode封装了braft的Node，并 实现了braft的状态机，完成与raft的交 互。详细交互流程后面展开。 CopysetNodeManager负责管理 CopysetNode的创建、初始化、删除等 2、解析MDS的心跳response中的raft 成员变更信息，向CopysetNode发起变 更 ChunkServer架构ChunkOpRequest模块封装了对 ChunkService到达的I/O请求的实际处 理过程。请求到来时，封装一个 OpRequest，将上下文保存在里面，然 后发起Propose提交给raft，等raft apply后再执行后面的操作。 Ch

© XXX Page 1 of 12 元数据持久化© XXX Page 2 of 12 前言 Raft Log Raft Snapshot 持久化文件 key_value_pairs 其他说明 实现 1、inode、entry 的编码 2、KVStore Q&A 单靠 redis 的 AOF 机制能否保证数据不丢失? redis 的高可用、高可扩方案？ redis + muliraft 参考 前言 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： Raft Log：记录 operator log Raft Snapshot：将内存中的数据结构以特定格式 dump 到文件进行持久化© XXX Page 3 of 12 Raft Log +------+------------+-----+----------------+---------+----------+ [value_length] 4 value 长度 [value] $value_length 编码后的 value checksum 8 前面 5 部分的校验和© XXX Page 4 of 12 Raft Snapshot +---------+---------+------+-----------------+-----+-----------+ | CURVEFS | version | size

increases.Data consistency in CurveBS CurveBS uses RAFT as a consistency protocol. The figure above is from the RAFT paper(https://raft.github.io/raft.pdf). CurveBS uses BRaft to implement the consistency Chunkserver processing flow CopysetNode is essentially a wrapper around the RAFT algorithm. The Copyset module encapsulates the RAFT Node of BRaft and implements the user state machine of BRaft. Take a Supports Object storage by S3 apis and CurveBS CurveBS performance considerations 1. CurveBS uses raft as a consistency protocol which requires majority replicas to be successful. Compare with strong