Curve 分布式存储设计## Curve 分布式存储设计 程义 — Curve Maintainer   ## 第一 Curve的由来 ## Agenda  ## 第二 Curve的设计目标  第四 Curve社区 ## Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求 ## Curve的设计目标 1. Curve云原生软件定义存储0 码力 | 20 页 | 4.13 MB | 1 年前3
新一代云原生分布式存储## 新一代云原生分布式存储—Curve 上 D I G I T A L S A I L 李小翠 网易数帆存储团队 Digital Sail Digital Digital Digital Digital Digital Digital Digital 01 分布式存储介绍 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 Ceph 架构简介 | 场景介绍 | 使用中的问题 03 Curve 架构简介 | 数据对比 | 应用情况 04 FAQ 答疑  ## 存储的发展 互联网时代,数据大爆炸  单机存储  集中存储  分布式存储 大型主机 成本高0 码力 | 29 页 | 2.46 MB | 1 年前3
Raft在Curve存储中的工程实践raft在Curve存储中的工程实践 D I G I T A L S A I L 陈威 Curve Maintaner 网易资深服务端开发工程师 01 Curve介绍 项目背景 | Curve架构 | 使用场景 | Curve社区 raft和braft raft协议介绍 | braft介绍 raft在Curve中的应用 raft in Curve块存储 | raft in curve文件存储 | 配置变更 Curve对raft的优化 优化点1 | 优化点2 05 Q&A 答疑 ## 项目背景 ## Curve是一个高性能、更稳定、易运维的云原生分布式存储系统,支持块存储和文件存储 Curve块存储和文件存储均采用raft协议 ## 2021 ~2022 Curve文件存储 ## 2018 ~2021 Curve块存储 • • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 ## 整体架构 0 码力 | 29 页 | 2.20 MB | 1 年前3
Ozone:Hadoop 原生分布式对象存储# Ozone : Hadoop 原生分布式对象存储 Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone,同时提供对象和文件访问的接口,从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇,抛个砖,介绍Ozone的产生背景,主要架构和功能。 S3 protocol  Hadoop FS CSI 如果想及时了解Spark、Hadoop或者HBase相关的文章,欢迎关注微信公众号:iteblog_hadoop ## 背景 HDFS是业界默认的大数据存储系统,在业界的大数据集群中有非常广泛的使用。HDFS集群有着很高的稳定性,得益于它较简单的构架,集群也很容易扩展。业界包含几千个数据节点,保存上百PB数据的集群也不鲜见。 HDFS通过把文件系统元 DFS的元数据访问性能会受到影响。虽然可以通过各种Federation技术来扩展集群的节点规模,但单个HDFS集群仍然没法很好地解决小文件的限制。 基于这些背景,Hadoop 社区推出了新的分布式存储系统 Ozone,从构架上解决这个问题。 ## Ozone的设计原则 Ozone 由一群对大规模Hadoop集群有着丰富运维和管理经验的工程师和构架师设计和实现。他们对大数据有深刻的洞察力,清楚0 码力 | 10 页 | 1.24 MB | 1 年前3
PieCloudDB 的云原生之路IvySQL开源数据库社区 ## PieCloudDB 的云原生之路 姓名:___ 职位:产品及推广总监 公司:拓数派 ## I VORYSQL OpenPie ## 吴疆 • OpenPie 产品和推广总监 深耕云计算和数据库行业十余年 - 毕业于清华大学计算机系,先后在 IBM, EMC, Pivotal, VMWare 参与多个云平台和数据库项目  微服务简介  用户故事 ## 微服务简介 - 云原生和微服务简介 • 微服务的价值和挑战 阿里微服务产品解法和优势 ## 云原生和微服务简介 声明式API Serverless 效率:Run Fast  普杰 华为云边缘云创新Lab 高级工程师 KubeEdge SIG AI Tech Lead  ## 目录 Edge AI现状与趋势 01 Sedna:边云协同AI框架 02 Sedna-GM:K8S Operator 03 实践案例 04 第一部分 ## Edge AI现状与趋势 ## Why Edge AI? - Cloud中心化的AI计算范式不足以应对端上AI应用对实时性、准确性和强交互性的需求 9/9/1199e88c64788228f6adafa316b1feba/p4_2.jpg) ## AI应用到越来越多的边缘场景 智能家居 智能医疗 智慧城市 AR/VR/MR 云数据中心  智慧交通 工业互联网 智慧农业0 码力 | 37 页 | 2.36 MB | 2 年前3
云原生 DevOps 平台 Zadig 产品介绍# 云原生 DevOps 平台 ZADIG 产品介绍 ## 基本信息 ## 01 公司介绍 KodeRover 是国内云原生 DevOps 领域的领军企业,帮助企业提升产研工程化水平,加速产业数字化进程,快速响应市场需求。核心团队由国内外云计算、DevOps、工程运筹学领域专家组成,已连续完成由盈动和经纬领投的天使轮/PreA 轮融资。公司旗舰产品云原生 DevOps 平台 Zadig 正成 Zadig 在 GitHub 上核心开源,用平台工程支撑软件研发全生命周期,让产研高效协同,稳定迭代。Zadig 内置了 K8s YAML、Helm Chart、主机等复杂场景最佳实践,适用云原生转型/上容器云、研发效能提升、大规模微服务环境治理、研发数字化转型等应用场景,在企业服务、数字化转型、新能源汽车领域广泛落地,在包括字节飞书、小鹏、理想、极氪、路特斯、长城汽车、仙豆智能、TT 语音、易快 产品特性 ## 建立协同基线,获取过程数据、形成正向反馈,向高效的产研协同迭代,实现从“工程化->服务化->数字化”的根本性转型 ## Zadig CI/CD: 对内产研协同 ## 云原生环境 一键拉起环境、一键复制环境、多环境/环境配置管理、服务编排/跨项目共享服务、开发者共享环境-自测子环境  蚂蚁金服高级技术专家 SOFAMosn 项目负责人 ZooKeeper ## Kubernetes Ingress Controller Service Mesh 控制面 Pilot Galley 访问请求 多协议接入 TLS,国密 MOSN WAF, DDoS 多种服务注册中心 SOFA Registry 支持 ## 生态融合 适配 Istio,兼容 UDAP 协议 Zookeeper, Etcd Open Tracing, Jaeger Prometheus, StatsD ## 开源所幸,云之爆发 我们认为,未来会更多地属于那些告别大教堂、拥抱集市的人们。《大教堂与集市》 ## 感谢聆听 












