curvefs s3数据整理(合并碎片、清理冗余) ## 背景 1. 只考虑单客户端，单metaserver 2. 为了解决的问题：客户端在对一个文件的某个部分多次写入后，同一个chunk会产生很多版本数据；而客户端在读的时候，会需要对这些chunk进行筛选和构建，得到有效的部分，越是散乱的状态，就越需要发送更多次读请求至s3．最后导致无效旧数据的堆积和读请求性能的下降，所以需要在合适的时候进行重叠元数据和数据的合并 行重叠元数据和数据的合并 3. 原则是尽力而为，并不能做到完美 ## 方案 基于一下3个基础的数据结构，2层索引 基于以下3个基础的数据结构，2层索引 s3chuninfolist[index] = [s3chunkinfo(s)] s3chunkinfo { chunkid version // write always 0, compact will increase it

object end,ret:0 1. append接口目前采用先从s3 get，在内存中合并完后再put的方式，对s3操作过多 2. 对于4k 小io每次都要和s3交互，导致性能非常差。 因此需要通过Cache模块解决以上2个问题。 ## 整体设计 整个dataCache的设计思路，在写场景下能将数据尽可能的合并后flush到s3上，在读场景上，能够预读1个block大小，减少顺序读对于底层s3 快速定位到index，则只需要遍历index相关的S3ChunkInfoList，减少了遍历的范围。 ## 对象名设计 对象名采用chunkId+blockindex+compaction（后台碎片整理才会使用，默认0）+inodeId。增加inodeId的目的是为了后续从对象存储上遍历，反查文件，这里就要求inodeId是永远不可重复。 ## 读写缓存分离 读写缓存的设计采用的是读写缓存 ，read，releaseCache，flush，fssync。后面会详细介绍这些接口流程。这里不需要提供truncate接口，可以由client直接修改inode的len，由metaserver的碎片整理（马杰负责）模块进行truncate的无效数据清理 ## 后台刷数据线程 启动后台线程，将写Cache定时刷到S3上，同时通过inodeManager更新inode缓存中的s3InfoList。具体细节见

现，只需要把chunkserver改成metaserver。 curvefs的topo信息的层级最终是这样： →pool：存储池（curve的physical pool和logic pool这里合并，只保留一个pool） →zone：可用域 →server：代表着一台服务器 →metaserver：代表着一块盘 每个copyset的由处于不同zone的metaserver组成复制组。 ## std::vector* out) ### 6.6、 topology topology参考curve的topology的实现，由于curve的physical pool和logic pool在curvefs中合并成了一个，所以，并不能直接复用curve的topology的代码。 curve在创建logic pool的时候去创建copyset。现在集群的topo信息在mds创建好了之后，topo中并没有c 由于元数据全部缓存在本地，而且磁盘空间远大于内存空间，所以一台机器上能放多少个inode和dentry最大的限制在于内存。 按照最差的情况，文件里面全部都是碎片，那么metaserver上的空间碎片将会占用最多的空间。这里忽略掉其他次要的因素，考虑全是空间碎片信息，每条记录只保存4KB数据，可以保存多少元数据。选取占用空间更多的S3ChunkInfo。按照一台metaserver 256GB内存容量全部用

XI.V.I 如何查看硬件信息？……494 XI.V.II Ubuntu 挑硬件吗？不支持什么硬件？去什么地方下载驱动程序？……494 XI.V.III Linux 怎么进行碎片整理？……495 XI.V.IV 我想备份我现在的系统，怎么办？Ghost 好像不行。……495 XI.V.V Super 键是键盘上的哪个键？……495 XI.VI 系统的安装和引导……496 77 重新排列对象 ..... 197 IV.78 将对象置于底层 ..... 197 IV.79 复刻对象 ..... 198 IV.80 合并对象 ..... 199 IV.81 重合区域 ..... 200 IV.82 取消合并 ..... 200 IV.83 编辑填充颜色 ..... 201 IV.84 选择一种填充颜色 ..... 202 IV.85 自定义填充颜色 智能断字：当一个位于句尾的单词因为过长而不得不转入下一行的时候，智能断字功能可以自动在句尾加入连字符号以保持单词的连贯性。该功能会自动搜索整个文档并做出加入连字符号的建议，您可以自主决定是否需要加入连字符号。 邮件合并：邮件合并功能为您提供可供套用的信函模板和地址数据库，使您可以轻松的创建高度定制的信件模板，标签，信封，电报稿和电子邮件。 设计和排版 OpenOffice.org 办公套件为您提供了很多实用的特性，使

新版消息文件存储进行了重新设计，解决旧版本的文件存储索引、数据文件节点过多以及随机 IO 恶化的问题。 新版消息文件存储为了同时兼顾读写性能，引入了二级索引存储方案，对同一个应用的 IP 节点进行合并，并且保证一定的顺序存储。下图是索引结构的最小单元，每个索引文件由若干个最小单元组成。每个 单元分为 4×1024 个桶，第一个桶作为我们的一级索引 Header，存储 IP、消息序列号与分桶的映射信息。剩余 及排查的过程。当然，想看结论的同学可以直接跳到最后，阅读总结即可。 ## 问题 某天早上，我们突然收到告警，Nginx 服务端出现大量5xx。 美团点评P1告警 [P1][故障][域名告警][合并3条] 指标：appkey.5xx per second 业务负责人：cl 时间：2018-08-23 09:11:00 持续时长：just now 监控对象：第1次 告警次数：第1次 进行灵活的行为属性扩展：1. 比如需要根据商户ID转换出商户的星级、品类等其他信息，我们可以在我们的明细扩展层配置一个Transformer。2. 或者业务有自己的转换规则，比如他需要把一些字段进行合并、拆分、转换，都可以通过一个Transformer模块，解决这个问题。 ## Sender Sender是我们的发送模块，将处理好的数据，按照不同的业务数据流，进行转发，一般我们是发送到消息队列

Icon 图标字体文件。 Flutter 官方提供的 --tree-shake-icons 命令选项是将业务使用到的 Icon 与 Flutter 内部维护的一个缩小版字体文件（大约 690KB）进行合并，能一定程度上减小字体文件大小。而我们需要的是只打包业务使用的 Icon，所以我们对官方 tree-shake-icons 进行了优化，设计了 Icon 的按需打包方案：  矩形框（每个矩形框是一个单独的图层），而算法预期的输入是一个图层，因此需要在算法处理前将多个图层合并成一个图层，右侧的三张图也有类似问题。我们与设计同学进行过沟通，设计同学表示愿意在产出设计稿之前将图层进行合并，但由于目前无法提供检测机制（图层合并是否有遗漏无法自动检测出来），也就无法彻底避免图层未合并的问题。 ## 图层位置交叉 ![Image](/uploads/documents/0/2/

进行的优化，降低磁盘寻道时间。 延迟分配/Allocate-on-flush 在sync/flush之前，尽可能多的积累更多的文件数据块才进行空间分配，一方面可以提高局部性，另一方面可以降低磁盘碎片。 Inline file/data 几百字节的小文件不单独分配磁盘空间，直接把数据存放到文件的元数据中。 针对上述的本地文件系统特性，Curve文件系统分配需要着重考虑局部性。 虽然Cur 配之后，extent的元数据量为24GiB（1PiB / 1MiB * 24，24为每个extent所占用的字节大小）。 如果同一文件在多次申请空间时，能分配连续的地址空间，则extent可以进行合并。例如，文件先后写入两次，每次写入1MiB数据，分别申请的地址空间为（100MiB，1MiB）和（101MiB，1MiB），则只需要一个extent进行记录即可，（0，100MiB，2MiB）。 文件inode中的extent可以将两次的申请结果进行合并，得到（0，28MiB，4MiB）。 ## 特殊情况 。尽可能合并多个块分配给同一个文件。 ## 空间回收 空间回收主要是一个extent合并的过程，有以下几种情况： 1. 文件释放了一个完整的块，则直接将level1中对应的bit置为0。 2. 文件释放了一小段空间，则尝试与level2中的extent进行合并。 1. 如果合并之后是一个完整的块，则重新