curvefs s3数据整理(合并碎片、清理冗余) ## 背景 1. 只考虑单客户端，单metaserver 2. 为了解决的问题：客户端在对一个文件的某个部分多次写入后，同一个chunk会产生很多版本数据；而客户端在读的时候，会需要对这些chunk进行筛选和构建，得到有效的部分，越是散乱的状态，就越需要发送更多次读请求至s3．最后导致无效旧数据的堆积和读请求性能的下降，所以需要在合适的时候进行重叠元数据和数据的合并 行重叠元数据和数据的合并 3. 原则是尽力而为，并不能做到完美 ## 方案 基于一下3个基础的数据结构，2层索引 基于以下3个基础的数据结构，2层索引 s3chuninfolist[index] = [s3chunkinfo(s)] s3chunkinfo { chunkid version // write always 0, compact will increase it

截取列表 删除元素 设置list中指定下标的元素值 阻塞队列 集合操作 添加元素 移除元素 删除并返回元素 随机返回一个元素 集合间移动元素 查看集合大小 判断member是否在set中 集合交集 集合并集 集合差集 获取所有元素 有序集合操作 添加元素 删除元素 增加score 获取排名 获取排行榜 返回给定分数区间的元素 返回集合中score在给定区间的数量 返回集合中元素个数 返回给定元素对应的score 判断某一个域是否存在 删除域 获取域的数量 获取所有的域名 获取所有域的值 获取所有域名和值 HyperLogLog操作 将元素添加至 HyperLogLog 返回给定 HyperLogLog 的基数估算值合并多个 HyperLogLog 专题功能 排序 事务 流水线 发布订阅 开发设计规范 Key设计 超时设置 数据异常处理 内存考虑 延迟考虑 典型使用场景参考 客户端推荐 上线部署规划 内存规划 网卡RPS设置 系统swap内存查看 info查看内存 dump.rdb文件成生内存报告（rdb-tool） query在线分析 内存抽样分析 统计生产上比较大的key 查看key内部结构和编码等问题 Rss与内存碎片增加问题 测试方法 模拟oom 模拟岩机 模拟hang 快速产生测试数据 模拟RDB load情形 模拟AOF load情形 Redis安全问题 Shell提权问题 高可用和集群简述 高可用与分片的

设置的大小，您必须分析工作负载的特定要求。考虑影响 etcd 负载的节点、pod 和其他相关因素的数量。 以下硬盘功能提供最佳的 etcd 性能： 支持快速读取操作的低延迟。 高带宽写入，实现更快速的压缩和碎片处理。 高带宽读取，加快从故障恢复。 固态硬盘是最小的选择，NVMe 驱动器是首选的。 来自不同制造商的服务器级硬件可以提高可靠性。 RAID 0 技术以提高性能。 专用 etcd 驱动器。不要将日志文件或其他重重工作负载放在 (RHCOS) 1.7. 分离 ETCD 数据 对于大型、高密度的集群，如果键空间增长过大并超过空间配额，etcd 的性能将会受到影响。定期维护并 处理碎片化的 etcd，以释放数据存储中的空间。监控 Prometheus 以了解 etcd 指标数据，并在需要时对 其进行碎片处理；否则，etcd 可能会引发一个集群范围的警报，使集群进入维护模式，仅能接受对键的读 和删除操作。 监控这些关键指标： etcd_se 显示数据库大小，包括等待碎片整理的可用空间 在导致磁盘碎片的事件后（如 etcd 历史记录紧凑）对 etcd 数据进行清理以回收磁盘空间。 历史压缩将自动每五分钟执行一次，并在后端数据库中造成混乱。此碎片空间可供 etcd 使用，但主机文 件系统不可用。您必须对碎片 etcd 进行碎片清除，才能使这个空间可供主机文件系统使用。 碎片清理会自动发生，但您也可以手动触发它。 注意 注意 自动清理碎片非常适合大多数情况，因为

object end,ret:0 1. append接口目前采用先从s3 get，在内存中合并完后再put的方式，对s3操作过多 2. 对于4k 小io每次都要和s3交互，导致性能非常差。 因此需要通过Cache模块解决以上2个问题。 ## 整体设计 整个dataCache的设计思路，在写场景下能将数据尽可能的合并后flush到s3上，在读场景上，能够预读1个block大小，减少顺序读对于底层s3 快速定位到index，则只需要遍历index相关的S3ChunkInfoList，减少了遍历的范围。 ## 对象名设计 对象名采用chunkId+blockindex+compaction（后台碎片整理才会使用，默认0）+inodeId。增加inodeId的目的是为了后续从对象存储上遍历，反查文件，这里就要求inodeId是永远不可重复。 ## 读写缓存分离 读写缓存的设计采用的是读写缓存 ，read，releaseCache，flush，fssync。后面会详细介绍这些接口流程。这里不需要提供truncate接口，可以由client直接修改inode的len，由metaserver的碎片整理（马杰负责）模块进行truncate的无效数据清理 ## 后台刷数据线程 启动后台线程，将写Cache定时刷到S3上，同时通过inodeManager更新inode缓存中的s3InfoList。具体细节见

现，只需要把chunkserver改成metaserver。 curvefs的topo信息的层级最终是这样： →pool：存储池（curve的physical pool和logic pool这里合并，只保留一个pool） →zone：可用域 →server：代表着一台服务器 →metaserver：代表着一块盘 每个copyset的由处于不同zone的metaserver组成复制组。 ## std::vector* out) ### 6.6、 topology topology参考curve的topology的实现，由于curve的physical pool和logic pool在curvefs中合并成了一个，所以，并不能直接复用curve的topology的代码。 curve在创建logic pool的时候去创建copyset。现在集群的topo信息在mds创建好了之后，topo中并没有c 由于元数据全部缓存在本地，而且磁盘空间远大于内存空间，所以一台机器上能放多少个inode和dentry最大的限制在于内存。 按照最差的情况，文件里面全部都是碎片，那么metaserver上的空间碎片将会占用最多的空间。这里忽略掉其他次要的因素，考虑全是空间碎片信息，每条记录只保存4KB数据，可以保存多少元数据。选取占用空间更多的S3ChunkInfo。按照一台metaserver 256GB内存容量全部用

XI.V.I 如何查看硬件信息？……494 XI.V.II Ubuntu 挑硬件吗？不支持什么硬件？去什么地方下载驱动程序？……494 XI.V.III Linux 怎么进行碎片整理？……495 XI.V.IV 我想备份我现在的系统，怎么办？Ghost 好像不行。……495 XI.V.V Super 键是键盘上的哪个键？……495 XI.VI 系统的安装和引导……496 77 重新排列对象 ..... 197 IV.78 将对象置于底层 ..... 197 IV.79 复刻对象 ..... 198 IV.80 合并对象 ..... 199 IV.81 重合区域 ..... 200 IV.82 取消合并 ..... 200 IV.83 编辑填充颜色 ..... 201 IV.84 选择一种填充颜色 ..... 202 IV.85 自定义填充颜色 智能断字：当一个位于句尾的单词因为过长而不得不转入下一行的时候，智能断字功能可以自动在句尾加入连字符号以保持单词的连贯性。该功能会自动搜索整个文档并做出加入连字符号的建议，您可以自主决定是否需要加入连字符号。 邮件合并：邮件合并功能为您提供可供套用的信函模板和地址数据库，使您可以轻松的创建高度定制的信件模板，标签，信封，电报稿和电子邮件。 设计和排版 OpenOffice.org 办公套件为您提供了很多实用的特性，使

新版消息文件存储进行了重新设计，解决旧版本的文件存储索引、数据文件节点过多以及随机 IO 恶化的问题。 新版消息文件存储为了同时兼顾读写性能，引入了二级索引存储方案，对同一个应用的 IP 节点进行合并，并且保证一定的顺序存储。下图是索引结构的最小单元，每个索引文件由若干个最小单元组成。每个 单元分为 4×1024 个桶，第一个桶作为我们的一级索引 Header，存储 IP、消息序列号与分桶的映射信息。剩余 及排查的过程。当然，想看结论的同学可以直接跳到最后，阅读总结即可。 ## 问题 某天早上，我们突然收到告警，Nginx 服务端出现大量5xx。 美团点评P1告警 [P1][故障][域名告警][合并3条] 指标：appkey.5xx per second 业务负责人：cl 时间：2018-08-23 09:11:00 持续时长：just now 监控对象：第1次 告警次数：第1次 进行灵活的行为属性扩展：1. 比如需要根据商户ID转换出商户的星级、品类等其他信息，我们可以在我们的明细扩展层配置一个Transformer。2. 或者业务有自己的转换规则，比如他需要把一些字段进行合并、拆分、转换，都可以通过一个Transformer模块，解决这个问题。 ## Sender Sender是我们的发送模块，将处理好的数据，按照不同的业务数据流，进行转发，一般我们是发送到消息队列