openEuler 24.03 LTS 技术白皮书化、轻量级容器、LibOS、可信执行环境(TEE)、异构部署等多种实现形态。不 同的形态有各自的特点: 1. 裸金属:基于 openAMP 实现裸金属混合部署方案,支持外设分区管理,性能最好,但隔离性和灵活性较差。目前支持 UniProton/Zephyr/RT-Thread 和 openEuler Embedded Linux 混合部署。 系统架构图 南向生态 嵌入式弹性虚拟化底座 openEuler Embedded 可广泛应用于工业控制、机器人控制、电力控制、航空航天、汽车及医疗等领域。 应用场景 2. 分区虚拟化:基于 Jailhouse 实现工业级硬件分区虚拟化方案,性能和隔离性较好,但灵活性较差。目前支持 UniProton/ Zephyr/FreeRTOS 和 openEuler Embedded Linux 混合部署,也支持 openHarmony 和 openEuler 用户或应用程 序必要的控制权限,提供更细粒度的资源管理,同时保持系统的稳定性和安全性。 4)更丰富的特性支持: 基于统一的文件树管理,支持 psi、页面缓存回写、跨多个资源的增强资源分配管理和隔离、统一核算不同类型的内存分配, MemoryQoS 等特性。 • Maple Tree 和 Per VMA Lock 特性:使用 Maple Tree 替代红黑树管理进程的地址空间,并使用 RCU0 码力 | 45 页 | 6.18 MB | 1 年前3
CurveFS rename 接口实现方案1. 2. 1. 3. 1. 2. 背景 方案调研 Chubaofs Juicefs 方案实现 方案一:chubaofs 方案二:事务方案 方案三:利用 KV 自带的分布式事务 Q&A 1. 是否需要实现跨文件系统的 rename 操作? 2. 在多客户端情况下,是否需要加锁来保证其原子性? 3. rename 流程举例说明? 例 1:rename KV/DB 中(如 redis、tikv...),而这些 KV 本身就支持事务,所以它只要把这些操作打包成事务扔给 KV 就可以了 如果采用 Juicefs 的方案,我们需要在 metaserver 层实现分布式事务 方案实现 方案一:chubaofs 从以上的分析来看,chubaofs 的方案是可行的,参照其实现就行 方案二:事务方案 前言(关于 MVCC): MVCC ( ) MVCC 可以保证事务 ACID 中的 C(一致性) 和 I(隔离性)) 方案主要借鉴 leveldb 与 etcd(boltdb) 中事务的实现(主要利用 mvcc),方案设计如下:© XXX Page 7 of 15 整体思路如下: 在 MDS 所有 copyset 中增加一个 txid 字段,保存当前 copyset 已成功的事务 id(该事务 id 顺序递增,事务每成功一次则加一)0 码力 | 15 页 | 555.93 KB | 6 月前3
openEuler 21.09 技术白皮书虚机和虚机混部 CPU 调度 内存管理 Cache QOS 网络 QOS 在线抢占 离线 Kill SMT 负载均衡 OOM 优先级内存回收 动态水线控制策略 Cache 干扰预测 Cache 租户隔离 流量标签化管理 租户宽带分配 openEuler 21.09 技术白皮书 15 功能描述 1. 全局管理器 OS-Controller,监控所有节点上的 OS 实例,收集所有节点 OS 面优势明显。容器可以直接访问 主机资源,容器间共享主机内核,存在容器逃逸等诸多安全问题,无法满足典型金融多租户安全隔离诉求。业界阿里和 Intel 主导 kata 开源项目,使用虚拟化隔离层容器形成安全容器方案,Google 推出 GVisor 安全沙箱,结合进程级虚拟 化隔离容器应用安全风险。 openEuler 结合虚拟化运行时 StratoVirt,容器管理引擎 isulad 形成安全容器方案,较传统 形成安全容器方案,较传统 docker+qemu 方案,底噪 和启动时间优化 40%+,为应用提供一个轻量、安全的执行环境,隔离容器和宿主机操作系统间、容器间的安全风险。 Kubelet iSulad Shim v2 client Containerd-kata- shim-v2 grpc ttrpc StratoVirt Export c interface Lib shim v2 Pod0 码力 | 35 页 | 3.72 MB | 1 年前3
openEuler 21.03 技术白皮书策略,可以显著改善高优先级任务的调度延迟, 降低对其他任务的干扰。优化 NUMA balancing 机制,带来更好的亲和性、更高的使用率和更少 的无效迁移。 2. CPU 隔离机制增强:支持中断隔离,支持 unbound kthreads 隔离,增强 CPU 核的隔离性, 可以更好的避免业务间的相互干扰。 3. 进程间通信优化:pipe_wait、epoll_wait 唤醒机 制优化,解决唤醒多个等待线程的性能问题。 化架构或组件。具 备安全、轻量、高性能、低损耗、组件灵活拆分的特点。 StratoVirt 主要优势如下: • 强安全性:基于 Rust 实现语言级安全,模型设计上最小化攻击面, 实现多租户物理隔离。 • 轻量低噪:采用极简设备模型时,启动时间小于 50ms,内存底噪小于 4M,支持 Serverless 负载。 • 软硬协同:StratoVirt 支持 x86 的 VT,支持鲲鹏的 Kunpeng-V。 基准测试中,相比于上游社区的 GCC 9.3 版本能够获得 10% 以上的性能收益。 机密计算框架 secGear 在云上或数据中心中,为了保护敏感数据的安全性,通过一个安全隔离区来保护使用中的数据称为机密计算技术。硬件 会提供一个可信的隔离执行环境供软件使用,让处理敏感数据的软件运行在可信执行环境中,在普通环境里无法访问到可信 执行环境里的内容。 Intel x86 处理器提供 SGX 特性,划分一0 码力 | 18 页 | 1.30 MB | 1 年前3
Curve 分布式存储设计高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 3. iSCSI协议 4. 容器云块存储(CSI) (降低写放大) 7. data stripe (增大并发) 8. zerocopy 9. 云原生 核心设计Curve块存储 1. physical pool用于实现对机 器资源物理隔离 2. zone故障隔离的基本单元 3. server表示物理服务器 4. chunkserver物理服务器上 的服务实例 拓扑结构Curve块存储 1. Curve块存储将虚拟块设备 映射到文件0 码力 | 20 页 | 4.13 MB | 6 月前3
云原生 DevOps 平台 Zadig 产品介绍DevOps 团队借鉴学习的。” Zadig 理念 & 应⽤ Zadig 具备丰富的开放能⼒ 可以集成⼀切 Zadig 产品特性 路特斯某运维团队,抛弃传统⼯具,⽤ Zadig 将研发重复性事务⾃动 化、平台化,⼤幅度缩短新项⽬投产时间,轻盈应对全球多云复杂交 付场景。践⾏“SIMPLIFY,THEN ADD LIGHTNESS”哲学,⽤软件研发能⼒赛 出 F1 性能! 极氪某部⻔,使⽤ 度数字化能⼒,从业务、流程、质 量、成本管理,释放“数字⼯程师”⽣产⼒。 Zadig 研发数字化成功案例 企业案例 Zadig 价值运营指标 业务管理简单⾼效,⽀持 RBAC/ABAC 权限隔离 流程模版统⼀规划,产研协同更⾼效,⾃动化⼀切 质量建设有的放⽮,全流程内建安全,测试驱动开发 多视⻆资源管理,业务协同更透明,成本可观测 ⼯程师数字化协作,幸福度更⾼更专注 全触点研发运营数据,可管理,可度量,可提升0 码力 | 8 页 | 18.50 MB | 1 年前3
MySQL 兼容性可以做到什么程度中间件只是起点,PolarDB-X 可能是离终点最近的那个 对近十年的探索以及五年的上云 经验进行重新思考,面向未来设 从运维视角实现计算存储一体化 计新架构 产品形态 基于MySQL XA实现分布式事务 基于外部组件进行扩容 支持扩容 分布式事务 一体化尝试 Review 2.0 开源 2016 2017 2018 2019 2020 2021 2021年10月20日,云栖大会宣 布开源 2020年5月,PolarDB-X 多节点产生多个增量事件队列 • 不同队列中事件之间的顺序 • 分布式事务完整性 • DDL 引起的多 Schema 版本问题 • 扩缩容引起的队列增减 ? Maxwell Debezium A: PolarDB-X 全局 Binlog:完全兼容 • 与 MySQL Binlog 体验完全一致 • 保障分布式事务完整性 • 透明:下游系统或工具改造成本为零 • 实现复杂度高 Q: 保证分布式事务完整性与顺序 • 同一连接串 已验证工具或系统 • MySQL Slave(change master) • DTS • Canal/CloudCanal • Maxwell • Debezium • Streamsets • mysql-binlog-connector-java • Flink CDC 性能指标 • 25w rps • 8GB 大事务 • 5s0 码力 | 18 页 | 3.02 MB | 6 月前3
Curve文件系统元数据管理300 5、client给server1发送请求: 修改记录 "C"的inode link++ 这里涉及到增加dentry和增加link,这两个操作不在一个节点上,也需要使用分布式锁进行控制,做成事务。 list:遍历/A目录 1、client给server0发送请求: parentid 0 + name "A",查询"A"的inodeid为100 inode 100,查询的"A"的inode信息。 这里rename的时候,涉及到inode不需要变动,只是dentry改变。存在着一个中间状态,新的dentry生成,旧的dentry还未删除,这对文件的inode本身不会改变。这里如何保证事务性,上半年的demo先不考虑,留 到下半年解决。 hardlink:生成一个hardlink /B/E,指向文件/A/C 1、client给server0发送请求: parentid 0 + name 400 5、client给server0发送请求: 修改记录 "C"/"E"的inode link++ 这里只需要增加一台dentry,然后inode中link++。同样这里的操作也分为两步,事务性也需要处理,留到下半年考虑。 6、curve文件系统的多文件系统的设计 curve文件系统设计上支持多文件系统。文件系统的super block元数据设计。 多文件系统相对于单文件系统,多了0 码力 | 24 页 | 204.67 KB | 6 月前3
openEuler 22.09 技术白皮书景下,容器的冷启动速度和底噪开销无法满足业务场景单节点上万实例的 快速执行和处理诉求。 本特性提供了基于 WebAssembly 技术的安全沙箱能力,将函数部署在 Wasm 安全沙箱中,实现函数隔离的前提下,解 决高并发场景下容器冷启动速度慢和内存底噪开销大的问题。 功能描述 轻量级 Wasm 沙箱引擎整体功能主要由以下两个关键组件提供: 1. Wasm 函数管理框架 • 支持监听处理高并发量函数请求 launcher,使目标应用可以运行在隔离的 CPU 资源上,为 HPC 业务提供低噪声的隔离执行环境。 功能描述 HCK 的功能由两部分组成: 1. 内核态的底座部分 内核态底座部分提供的功能如下: • CPU 噪声移植:将影响应用波动性的系统噪声从隔离核上迁移出 • CPU 隔离管理:在系统启动时对指定的 CPU 标记预留 • 任务域管理:在隔离的 CPU 上运行进程时,进行任务域创建,亲和性配置等功能 拓扑过滤:控制 proc、sysfs 下部分接口获取 CPU 拓扑时的可见范围 2. 用户态工具部分 用户态工具提供的功能,是对接内核态上述功能提供的 sysfs 接口供用户使用,将目标应用运行在指定的隔离 CPU 上。 HPC 业务特征大部分符合 BSP 模型 (Bulk Synchronous Parallel Computing):并行计算 + 通信 + 同步。系统噪声对这 类业务特征有较大0 码力 | 13 页 | 1.39 MB | 1 年前3
APM 深水区:构建连接运维与业务之桥-赵宇辰业务流:为完成特定的价值目标,由多个或单个角色完 成一系列业务操作的流程。 如:借贷流程、审批流程、订单处理流程、合同审批流 程等。 业务:“业务”更白话一些来说,就是各行业中需要处理 的事务,但通常偏向指销售的事务,因为任何公司单位 最终仍然是以销售产品、销售服务、销售技术等等为 主。业务就是进行或处理商业上相关的活动。 如:营销业务、广告业务、办公OA、CRM等 业务、业务流、业务操作定义 业务0 码力 | 24 页 | 5.87 MB | 1 年前3
共 44 条
- 1
- 2
- 3
- 4
- 5













