## 高可用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 自我介绍 ## 李玥 京东集团 技术架构部 架构师 负责主导设计新一代京东消息中间件系统，专注于流数据的一致性分发和可靠存储、分布式实时计算和高可用分布式系统架构等技术领域。 从事互联网研发、架构10余年，曾在浪潮集团、当当网等公司从事架构相关工作。2017年加入京东，期间提升京东商城相关系统的性能和吞吐量数倍。 能与开源。 Why 有什么用？ What 如何定位？如何融入生态系统？ How 如何实现？如何优化？ ## 目录 ## WHY ## 为什么需要流数据存储？ ## 那些年的服务 单体应用 烟筒式 SOA 微服务 ## 这些年的数据 Services ## ☐ → ☐ Data Hive ES HBase HDFS KV ## 我们的愿景 Services ## O

## Curve 分布式存储设计 程义 — Curve Maintainer   b66b9481848c048a7/p2_3.jpg) ## 第二 Curve的设计目标  ## 第三 Curve块存储 和 Curve文件存储  ## Curve块存储 ## 研究现状 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储

ss 节跳动高性能 K8s 元信息存储 许搬 字节跳动资深研发工程师 企业数字化传播一站式服务. InfoQ 企业会员是为满足企业在中国开发者群体中的品牌曝光需求而推出的一款和矩阵化资源包。可为企业提供 包括“ 企业号服务 "、“ 企业动态宣发 ”、” 品牌展示通道 ”在内的多项专属权益与服务，助力企业高效触达开发 者群体，提升数字化时代影响力。 企业号服务 企业动态宣发 系统的构建和优化 埋 e。 KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 大纲 . 背景介绍 ， 设计思路 。性能优化 。落地效果 。未来演进 呈 各 Kubernetes 规模增大 10 倍以上 公司业务快速发展 存储、大数据、机器学习等场景云原生化 新场景对 Kubernetes 性能要求更高 离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes | apiserwEF 中心化架构 随着规模增大存储系统成为瓶颈 所有组件通过 apisever 交互 etcd 存在性能问题 Summt etcd 人存在的问题 1 Expensive Read 存在大量内存持贝

Meetup #5 广州站 # SOFAMOSN 持续演进路径及实践案例 陈逸凡 wugou.cyf@antfin.com 2019.1.6 ## Agenda ➢ 背景 & 概览 ➢ 持续演进路径 & 技术案例 ➢ 实践案例 ➢ 规划 & 展望 ➢ QA ## 背景 & 概览 ## 数据平面概览 ## NG/UX envoy LINKERD 开发不活跃 C++实现 CNCF第三个毕业项目，ISTIO原生数据平面 - 老牌代理系统，业界广泛使用，服务各类场景 • 开发活跃，最新版为1.9.0 - Google, Lyft主导，业界众多公司使用中，重点搭载ISTIO使用，服务各类场景 • Rust实现 • CNCF项目，最早的Service Mesh数据平面 • 开发活跃，最新版为18.9.1 • Golang实现 Citadel Control Plane API ## SOFAMOSN内部模块设计  ## SOFAMOSN数据流 proxy通过decode拿到解析好的数据，并通过Encode发送出去 ![Image](/uploads/docume

### OpenShift Container Platform 4.14 ## 存储 在 OpenShift Container Platform 中配置和管理存储 Powered by TCPDF (www.tcpdf.org) 在 OpenShift Container Platform 中配置和管理存储 ## 法律通告 Copyright $ ^{©} $ 2023 Red Hat owners. ## 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 ## 目录 第1章 OPENSHIFT CONTAINER PLATFORM 存储概述 ..... 4 1.1. OPENSHIFT CONTAINER PLATFORM 存储的常见术语表 ..... 4 1.2. 存储类型 ..... 6 1.3. CONTAINER 1.4. 动态置备 ..... 6 第2章 了解临时存储 ..... 7 2.1. 概述 ..... 7 2.2. 临时存储的类型 ..... 7 2.3. 临时存储管理 ..... 7 2.4. 监控临时存储 ..... 8 第3章 了解持久性存储 ..... 10 3.1. 持久性存储概述 ..... 10 3.2. 卷和声明的生命周期 ....

### OpenShift Container Platform 4.8 ## 存储 在 OpenShift Container Platform 中配置和管理存储 Powered by TCPDF (www.tcpdf.org) 在 OpenShift Container Platform 中配置和管理存储 ## 法律通告 Copyright $ ^{©} $ 2023 Red Hat owners. ## 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 ## 目录 第1章 OPENSHIFT CONTAINER PLATFORM 存储概述 ..... 4 1.1. MODULES/OPENSHIFT-STORAGE-COMMON-TERMS.ADOC ..... 4 1.2. 存储类型 ..... 6 1.3. CONTAINER 1.4. 动态置备 ..... 6 第2章 了解临时存储 ..... 7 2.1. 概述 ..... 7 2.2. 临时存储的类型 ..... 7 2.3. 临时存储管理 ..... 7 2.4. 监控临时存储 ..... 7 第3章 了解持久性存储 ..... 9 3.1. 持久性存储概述 ..... 9 3.2. 卷和声明的生命周期 ..... 9

## 云时代下多数据计算引擎的设计与实现 郭罡 CTO 拓数派（OpenPie） ## 关于拓数派 - 成立于2021年，以 “Data Computing for New Discoveries” 「数据计算，只为新发现」为使命。 - 核心团队来自于各大厂名校，有丰富的数据库（Greenplum，DB2，ClickHouse等）研发和产业经验. - 产品 πDataCS：多计算引擎，包括 πDataCS：多计算引擎，包括自研分布式数据库PieCloudDB，自研分布式向量数据库等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地：IoT、金融、新能源、医疗等行业. ## 云时代 多数据模态支持 广泛的生态支持 ## 数据计算 “一份数据，多引擎计算”的述求 让数据流动起来 ## PieCloudDB 简介 ## 一 款云原生分布式 ## 分析型数据库 • 元数据、用户数据、计算完全分离 元数据、用户数据、计算完全分离. - 用户数据（code name: Janm）支持 S3/HDFS/Posix. • 架构：Share Nothing on share storage. • 丰富的外围产品支持. ## Postgres生态 • 将来会支持单机和HTAP. ## 软件交付版本 (最新版本：v2.11) • 社区版 · 企业版 · CoC（云上云）版 ## PDB数据库产品体系

元数据持久化 • 前言 • Raft Log • Raft Snapshot - 持久化文件 - key value pairs - 其他说明 实现 • 1、inode、entry 的编码 • 2、KVStore • Q&A • 单靠 redis 的 AOF 机制能否保证数据不丢失? • redis 的高可用、高可扩方案? • redis + muliraft • 参考 • redis 中哈希表实现的优点? ## 前言 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： • Raft Log: 记录 operator log • Raft Snapshot：将内存中的数据结构以特定格式 dump 到文件进行持久化 copyset-2 copyset-1 ![Image](/up 持久化文件 |字段|字节数|说明| |---|---|---| |CURVEFS|7|magic number（常量字符 "CURVEFS"），用于标识该文件为 curvefs 元数据持久化文件| |version|4|文件版本号（当文件格式变化时，可以 100% 向兼容加载旧版持久化文件）| |size|8|键值对数量| |key\_value\_pairs|/|键值对（当 size

## 第十三届中国数据库技术大会 DATABASE TECHNOLOGY CONFERENCE CHINA 2022 ## 数据智能 价值创新   ## 云原生数据库 PieCloudDB eMPP 架构设计与实现 郭罡 拓数派CTO ## 关于拓数派（OpenPie） • 成立于2021年，以 “Data Computing for New Discoveries” 「数据计算，只为新发现」为使命。 • 现Pre-A轮融资，已完成数亿元融资。 - 核心团队来自于各大厂名校，有丰富的数据库（Greenplum，DB2 分布式系统（SQL/NoSQL/存储） • 最近 7+ 年一直从事开源分布式数据库开发 ## 元CloudDB 一个eMPP 云原生分布式SQL数据库 一个云原生实时大数据平台基座 愿景：安全可靠 使用简单 功能齐全 性能极致 ## 传统分布式MPP架构痛点 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩缩容难 数据孤岛 元数据和用户数据跨集群访问困难 运维成本

大模型时代下向量数据库的设计与应用 msup $ ^{®} $ | ARCHNOTES 架構 ## 个人简介  邱培峰 拓数派向量数据库负责人 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型与大数据领域。拥有多 年数据库内核研发和配套解决方案架构经验，在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发，并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心开发和性能优化等实践经验。 ## 拓数派：大模型数据计算系统先行者 - 拓数派（OpenPie）是立足于国内的基础数据计算领域高科技创新机构； 拥有强大的数 拥有强大的数据库内核研发团队、数据科学团队和数字化转型团队； - 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进行创新，全面拥抱AI技术趋势。 # 虚拟数仓 拓数派/数仓虚拟化 PieCloudDB产品技术 数企虚拟化由拓数派（杭州拓数派科技发展有限公司，又称“OpenPie”）于2023年3月正式提出。 数仓虚拟化 $ ^{[1]} $ 可将物理数仓整合到云原生数据计算平台 $ ^{[2]}