Curve核心组件之snapshotcloneCurve核心组件 - SnapShotCloneServer 许超杰CURVE基本架构 01 02 03 04 快照和克隆的特点 快照克隆服务器架构 快照的实现 05 克隆的实现CURVE基本架构 • 元数据节点 MDS • 管理和存储元数据信息 • 感知集群状态,合理调度 • 数据节点 Chunkserver • 数据存储 • 副本一致性,raft • 客户端 Client 任务管理层负责调度SnapshotTask和CloneTask,并向上提供如 cancel task等功能。 SnapshotTaskManager & CloneTaskManager: • 快照克隆核心模块,负责向下调用DataStore,MetaStore等底层 模块,实现快照和克隆的具体功能。 SnapshotCore & CloneCore:快照克隆服务器架构 • SnapshotDa0 码力 | 23 页 | 1.32 MB | 6 月前3
Curve核心组件之chunkserverCurve核心组件之ChunkServer 查日苏CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 • 可扩展存储场景:块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储,对接 openstack 和 k8s 网易内部线上无故障稳定运行500+天 • 已开源 • github主页: https://opencurve.github • github代码仓库: https://github.com/opencurve/curveCURVE基本架构 01 02 03 04 ChunkServer架构 ChunkServer核心模块 新版本ChunkServer性能优化CURVE基本架构 • 元数据节点 MDS • 管理和存储元数据信息 • 感知集群状态,合理调度 • 数据节点 Chunkserver • 数据存储 • 客户端 Client • 对元数据增删改查 • 对数据增删改查 • 快照克隆服务器CURVE基本架构 01 02 03 04 ChunkServer架构 ChunkServer核心模块 新版本ChunkServer性能优化Curve ChunkServer是数据节点, 对外提供数据读写和节点管理功 能,底层基于ext4文件系统,操 作实际的磁盘。 ChunkServ0 码力 | 29 页 | 1.61 MB | 6 月前3
Curve核心组件之mds – 网易数帆Curve核心组件之 MDS 陈威Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景:块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github er上的负载信息、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器,利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 1. 故障域的隔离:比如副本的放置分布在不同机器,不同机架,或是不同的交换机下面。 2. 隔离和共享:不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 超过miss时间 未超过offline时间 UNSTABLE ONLINE OFFLINESCHEDULE Schedule(系统调度)是为了实现系统的自动容错和负载均衡,这两个功能是分布式 存储系统的核心问题,也是 curve 是否能上生产环境的决定因素之一。 • 自动容错保证常见异常(如坏盘、机器宕机)导致的数据丢失不依赖人工处理,可 以自动修复。 • 负载均衡和资源均衡保证集群中的磁盘、c0 码力 | 23 页 | 1.74 MB | 6 月前3
Curve核心组件之Client - 网易数帆U进 程进行重启。NEBD 整体介绍 在QEMU和Curve Client中间加入热升级模块,避 免直接依赖 热升级模块是CS结构: NEBD Client(part1):只包含轻量的业务逻辑, 以链接库的形式提供给QEMU使用 NEBD Server(part2):将NEBD Client的请求转 发到Curve Client 升级过程只需要重启NEBD Server即可,IO可在0 码力 | 27 页 | 1.57 MB | 6 月前3
Uber 核心派单系统及其集群管理演化-李宁0 码力 | 23 页 | 15.26 MB | 1 年前3
古月《ROS入门21讲》7.ROS的核心概念.pdf7.ROS中的核心概念 主 讲 人 : 古 月 通信机制 ◼ ⚫ 执行具体任务的进程、独立运行的可执行文件; ⚫ ⚫ ◼ ⚫ ⚫ ⚫ 节点与节点管理器 ◼ ⚫ 节点间用来传输数据的重要总线; ⚫ 使用发布/订阅模型,数据由发布者传输到订阅者, ◼ ⚫ 具有一定的类型和数据结构,包括ROS提供的标准类型和用户自定义类型; ⚫ 话题通信 ◼ ⚫ ⚫ 服务通信0 码力 | 9 页 | 1.27 MB | 1 年前3
APM 深水区:构建连接运维与业务之桥-赵宇辰APM 深水区: 赵宇辰 @ 听云 构建连接运维与业务之桥 目录 • APM现状和痛点 • 什么是APM深水区 • 技术原理 • 实际案例 APM现状:全链路监控 基础架构 业务系统 SaaS 原生App 浏览器 H5/Webview 应用性能监控 第一代APM: 主动拨测 APP监控 浏览器监控 基础架构监控 模拟用户 拨测节点 真实用户 小程序监控 哪些错误是真正紧急、影响业务的? 哪些业务被影响了?是否是核心业务? 如何补救? 运维现状: • 系统响应时间、错误率上升 • 不知道影响了哪些业务/BU/部门/用户 • 企业损失、成本消耗无法衡量、补救 现状:运维和业务的割裂(互联网场景) 业务洞察: ⚫ 转化率 / 收入 / 活跃用户 / KPI 迅速下降 ⚫ 业务团队不知具体原因 ⚫ 多团队、部门之间解决方案不明确 ⚫ 公司业务、健康状况时刻受到影响 公司业务、健康状况时刻受到影响 业务现状: • 系统响应慢 • 营销流程中点击“提交”要等很久 • 领导批准审批超时、报错 现状:运维和业务的割裂(企业场景) 运维困境: ⚫ 各系统看似正常 ⚫ OA系统响应及时 ⚫ 网络正常 ⚫ 数据库没有报错 ⚫ 业务和IT系统的对应关系缺失 ⚫ 难以迅速定位问题 ⚫ IT / CIO / 业务部门:KPI、考核、管理层压力 目录 • APM现状和痛点0 码力 | 24 页 | 5.87 MB | 1 年前3
高效智能运维[云+社区技术沙龙第29期] - 冲上云霄—腾讯海量业务上云实践冲上云霄—腾讯海量业务上云实践 腾讯云高级工程师 黄宏东 自我介绍 ⚫ 业务开发出身的运维 ⚫ 先后在腾讯负责游戏、安全、医疗类业务运维 ⚫ 经历数年业务爆量、成本优化、业务上云、智能运维等重点项目 ⚫ 目前负责腾讯自研业务的运维与上云工作 01 腾讯业务为什么要上云 02 业务上云的价值 03 如何上云 目录 04 上云案例分享 腾讯业务为什么要上云 接入服务 业务 服务框架 服务框架 KV/RDS CVM/Docker 接入服务 业务 服务框架 KV/RDS CVM/Docker 接入服务 业务 服务框架 KV/RDS CVM/Docker 接入服务 业务 服务框架 KV/RDS CVM/Docker IEG PCG WXG CDG “烟囱式”的业务支持体系 幸福的烦恼 ⚫ 重复造轮子,每个部门一套轮子 ⚫ 缺乏统一规范,包括开源代码在内 将原有七大事业群(BG)重组整合,新成立云与智慧产业事业群(CSIG)、平台与内容 事业群(PCG)。在连接人、连接数字内容、连接服务的基础上,更加彰显了腾讯推动由消费 互联网,向产业互联网的升级的决心。 业务上云价值 • 开发效率更高 • 云上特性(VM热迁移等) • 丰富的标准化云服务 • 云原生TKE、研发CICD流程 • 计算资源重用 • 公共组件产品化 • 丰富的公有云海外资源 •0 码力 | 26 页 | 2.39 MB | 1 年前3
openEuler 24.03 LTS 技术白皮书2021年 9 月 30 日,全新openEuler 21.09创新版如期而至,这是openEuler全新发布后的第一个社区版本,实现了全场景支持。 增强服务器和云计算的特性,发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术;同时发布边缘和 嵌入式版本。 2022 年 3 月 30 日,基于统一的 5.10 内核,发布面向服务器、云计算、边缘计算、嵌入式的全场景 30 日,发布 openEuler 22.09 创新版本,持续补齐全场景的支持。 2022 年 12 月 30 日,发布 openEuler 22.03 LTS SP1 版本,打造最佳迁移工具实现业务无感迁移,性能持续领先。 2023 年 3 月 30 日,发布 openEuler 23.03 内核创新版本,采用 Linux Kernel 6.1 内核,为未来 openEuler 长生命周期版本 进一步提升数字基础设施协同能力,构建万物互联的基础。 面向未来,社区将持续创新、社区共建、繁荣生态,夯实数字基座。 夯实云化基座 • 容器操作系统 KubeOS:云原生场景,实现 OS 容器化部署、运维,提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案:iSulad+shimv2+StratoVirt 安全容器方案,相比传统 Docker+QEMU 方案,底噪和启动时间优化 40%。 • 双平面部署工具0 码力 | 45 页 | 6.18 MB | 1 年前3
openEuler 23.09 技术白皮书算能力。 2021 年 9 月 30 日,全新 openEuler 21.09 创新版如期而至,这是欧拉全新发布后的第一个社区版本,实现了全场景 支持。增强服务器和云计算的特性,发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术; 同时发布边缘和嵌入式版本。 2022 年 3 月 30 日,基于统一的 5.10 内核,发布面向服务器、云计算、边缘计算、嵌入式的全场景 30 日,发布 openEuler 22.09 创新版本,持续补齐全场景的支持。 2022 年 12 月 30 日,发布 openEuler 22.03 LTS SP1 版本,打造最佳迁移工具实现业务无感迁移,性能持续领先。 2023 年 3 月 30 日,发布 openEuler 23.03 内核创新版本,采用 Linux Kernel 6.1 内核,为未来 openEuler 长生命周 期版本采用 openEuler 社区低版本的有益特性及社区创新特性。 • 潮汐 affinity 调度特性:感知业务负载动态调整业务 CPU 亲和性,当业务负载低时使用 prefered cpus 处理,增强资 源的局部性;当业务负载高时,突破 preferred cpus 范围限制,通过增加 CPU 核的供给提高业务的 QoS。 • CPU QoS 优先级负载均衡特性:在离线混部 CPU QoS 隔离增强,支持多核0 码力 | 52 页 | 5.25 MB | 1 年前3
共 111 条
- 1
- 2
- 3
- 4
- 5
- 6
- 12













