元数据持久化 • 前言 • Raft Log • Raft Snapshot - 持久化文件 - key value pairs - 其他说明 实现 • 1、inode、entry 的编码 • 2、KVStore • Q&A • 单靠 redis 的 AOF 机制能否保证数据不丢失? • redis 的高可用、高可扩方案? • redis + muliraft • 参考 • redis 中哈希表实现的优点? ## 前言 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： • Raft Log: 记录 operator log • Raft Snapshot：将内存中的数据结构以特定格式 dump 到文件进行持久化 copyset-2 copyset-1 ![Image](/uploads/docu |checksum|8|前面5部分的校验和| Raft Snapshot ## 持久化文件 |字段|字节数|说明| |---|---|---| |CURVEFS|7|magic number（常量字符 "CURVEFS"），用于标识该文件为 curvefs 元数据持久化文件| |version|4|文件版本号（当文件格式变化时，可以 100% 向兼容加载旧版持久化文件）| |size|8|键值对数量| |key

curvefs chunkid 持久化 ## 背景 1. 将原有的获取chunkid的方法从space迁入mds中，并持久化写入etcd中； 2. 只考虑单mds工作的情况； 3. chunkid全局递增。 ## 实现 1. proto/space.proto 中的 message AllocateS3ChunkRequest、message AllocateS3ChunkResponse AllocateS3Chunk 调用 ChunkIDGenerator 对象的 GenChunkID 方法； 6. ChunkIDGenerator 类 1. 构造函数 初始化 2. init 函数：用于初始化或者更改 ChunkIdAllocatorImpl 的一些配置。但是这些配置不会立即生效，而是等到当前 chunkId池枯竭时才会生效。 3. 析构函数 4. GenChunkID

Curve元数据节点高可用 • 1. 需求 • 2. 技术选型 • 3. etcd clientv3的concurrency介绍 • 3.1 etcd clientV3的concurrency模块构成 • 3.2 Campaign的流程 • 3.2.1 代码流程说明 • 3.2.2 举例说明Campagin流程 • 3.3 Observe的流程 4. MDS使用election模块的功能进行选主 区 4.2.5.1 事件一先发生 4.2.5.2 事件二先发生 4.2.6 异常情况4：Etcd集群的follower节点异常 4.2.7 各情况汇总 ### 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds，但同时只有一个mds节点提供服务，称该提供服务的m 熟知的就是zookeeper和etcd，考虑当前系统中mds有两个外部依赖模块，一是mysql，用于存储集群拓扑的相关信息；二是etcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制：TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期，到期后key会被自

Curve文件系统元数据管理（已实现） Inode 1、设计一个分布式文件系统需要考虑的点： • 2、其他文件系统的调研总结 • 3、各内存结构体 • 4、curve文件系统的元数据内存组织 • 4.1 inode定义： • 4.2 dentry的定义： • 4.3 内存组织 5元数据分片 • 5.1 分片方式一：inode和dentry都按照parentid分片 5.1 文件系统的元数据是否全缓存？ 2. 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ 3. inode+dentry方式？当前curve块存储的kv方式？ 4. 是否有单独的元数据管理服务器？ ## 2、 其他文件系统的调研总结 |fs|中心化元数据|内存 namespace 元数据|内存空间分配元数据|元数据持久化|元数据扩展|小文件优化|空间管理单位|数据持久化|其他| --| |moosefs (mfs)|有元数据服务器|全内存fsnode → has 表table (inode id)fsedge → has table (parent inode + name)|全内存chunk → has table (chunk id)|log + dump record|差|否|chunk|链式多副本|overwrite 有数据不一致风险| |---|---|---|

curve文件系统元数据proto（代码接口定义，已实现） ## 1、 代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块，在当前curve项目的目录下，增加一个一级目录curvefs，curvefs下有自己独立的proto\src\test。 ![Image](/uploads/documents/6/5/7/9/6579a4e9a6fde3e069fddf95fb76e7bd/p2_1

容器化MPP数据库 ## AGENDA ## 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 ## 云数据库背景 ## 云数据库背景 ● 资源变化 ☐ 本地资源 → 云 ☐ 静态资源 → 弹性需求 ## ● 数据变化 ☐ 内部数据 → 多数据源 ☐ 数据规模 → 不易预测 ☐ 数据格式 → → 半结构化/无模式 ☐ 数据隔离 → 数据共享 # Gartner Says the Future of the Database Market Is the Cloud On-Premises DBMS Revenue Continues to Decrease as DBMS Market Shifts to the Cloud By 2022, 75% of all databases CSP — to multiple CSPs — 云数据库市场巨大 云数据库增速巨大 DBasS的需求 ## ● 跨云的需求 ## 云数据库实现方案 ## 云数据库需求 - DBasS - 自动化运维 - 自动化调优 - 弹性资源管理 - 存储资源 - 计算资源 - 安全 - 用户数据 - 临时文件 - 网络传输 -

ss 节跳动高性能 K8s 元信息存储 许搬 字节跳动资深研发工程师 企业数字化传播一站式服务. InfoQ 企业会员是为满足企业在中国开发者群体中的品牌曝光需求而推出的一款和矩阵化资源包。可为企业提供 包括“ 企业号服务 "、“ 企业动态宣发 ”、” 品牌展示通道 ”在内的多项专属权益与服务，助力企业高效触达开发 者群体，提升数字化时代影响力。 企业号服务 企业动态宣发 KubeGateway/ KubeZoo 等多个项目的发起人 大纲 . 背景介绍 ， 设计思路 。性能优化 。落地效果 。未来演进 呈 各 Kubernetes 规模增大 10 倍以上 公司业务快速发展 存储、大数据、机器学习等场景云原生化 新场景对 Kubernetes 性能要求更高 离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 多个集群横向扩展 Kubernetes etcd | apiserwEF 中心化架构 随着规模增大存储系统成为瓶颈 所有组件通过 apisever 交互 etcd 存在性能问题

## Kubernetes日志平台建设最佳实践 ## 张城-元乙 阿里巴巴 # TGO鲲鹏会 # 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 自我介绍 ## 张城（花名：元乙） 阿里巴巴 技术专家 - 负责阿里巴巴集团、蚂蚁金服、阿里云等全站日志基础设施建设与维护 • 覆盖200W+ 容器/物理机，日采集数据40万亿行，10PB+ - 目前主要关注 Kubernetes、微服务、IoT 等领域的 DevOps、AIOps 技术 ## 目录 分布式、飞天 Trace、监控 集中化存储 2019  容器、Serveless 数字化、智能化 统一日志平台 ## 日志系统的重要性与建设目标 智能分析 链路跟踪 监控 数据清洗 流计算 OLAP 离线计算 线上监控

## 云原生图数据库解谜、容器化实践与 Serverless 应用实操 Graph DB on K8s Demystified and its Serverless applicaiton in actions. 古思为 DEVELOPER ADVOCATE @ 💱 vesoft 方阗 MAINTAINER OF OPEN FUNCTION KCD China 2021 Kubernetes ## Overview ■ 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction ■ K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应用 ■ 上手 K8s 上的云原生图数据库、从零到一构建 Serverless 架构的智能问答助手 Iaminar.fun/talks/2021-KCD ## Serverless https://github.com/OpenFunction/builder → https://github.com/OpenFunction/samples ## 图数据库简介 什么是图？什么是图数据库？为什么我们需要一个专门的数据库？ 

## 数据迁移 ## 存量 MySQL 迁移到 TiDB 服务 UDTS 产品支持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移，及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。 ## 自建 TiDB 迁移到 TiDB 服务 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, Drainer 可进行数据增量同步。UDTS 与源端 Pump, Drainer 一起可协助用户在不停机的情况下轻松将业务从自建 TiDB 切换至 TiDB 服务。 ## 为 TiDB 服务建立 MySQL 从库 UDTS 产品支持 TiDB 全量数据迁移至 MySQL 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog Binlog 服务一起可协助用户轻松建立 MySQL 从库。 ## 为 TiDB 服务建立 TiDB 从库 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog 可将数据增量同步至下游 TiDB。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 TiDB 从 库。