TGT服务器的优化TGT 服务器的优化块设备协议 • NBD • Linux专有块设备协议 • iSCSI • 广泛支持的外部设备协议(块,磁带等)Curve云原生存储支持块设备 • 通过NBD,只支持Linux • 通过SDK API,目前只支持Linux • PFS • 扩大使用范围 • 通过iSCSI支持更多系统,例如Windows, 类UNIX系统等,使用两项基础 技术 • TCP/IP 多个target时,如果挂的设备多,一旦客户端请求量大,就会忙不过来。 • 开源界有尝试修改 • 例如sheepdog的开发者提交过一个patch,但是测试效果不理想,分析 原因,event loop依然是瓶颈对TGT的性能优化 • IO是使用多个epoll 线程,充分发挥多CPU能力 • 当前策略是每个target一个epoll线程,负责Initiator发过来的I/O • 好处是各target上的CPU使用由OS负责分配,CPU分配粒度更细 管理面是主线程,登录,增、删、改target,lun,session,connection,params 都在主线程,而target epoll 线程也要使用这些数据,多线程冲突,数据一 致性问题就来了对TGT的性能优化(续) • 为每一个target增加一把锁 • Target event loop (TEL)线程和管理面线程使用这把锁互斥 • TEL在运行时锁住这把锁,管理面只能等待,等TEL线程进入epoll0 码力 | 15 页 | 637.11 KB | 6 月前3
openEuler 24.03 LTS 技术白皮书现统一操作系 统支持多设备,应用一次开发覆盖全场景。 openEuler 覆盖全场景的创新平台 服务器 云计算 边缘 嵌入式 基础公共服务 服务器 开源操作系统的构建过程,也是供应链聚合优化的过程。拥有可靠开源软件供应链,是大规模商用操作系统的基础。 openEuler 从用户场景出发,回溯梳理相应的软件依赖关系,理清所有软件包的上游社区地址、源码和上游对应验证。完成构建验证、 容器化部署、运维,提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案:iSulad+shimv2+StratoVirt 安全容器方案,相比传统 Docker+QEMU 方案,底噪和启动时间优化 40%。 • 双平面部署工具 eggo:Arm/x86 双平面混合集群 OS 高效一键式安装,百节点部署时间 <15min。 新场景 • 边缘计算:发布面向边缘计算场景的版本 openEuler 等硬件 SDK,以及 TensorFlow、PyTorch 等相应的 AI 框架软件,支持 AI 应用在 openEuler 上高效开发与运行。 2. openEuler AI 软件栈容器化封装优化环境部署过程,并面向不同场景提供以下三类容器镜像。 OS for AI • SDK 镜像:以 openEuler 为基础镜像,安装相应硬件平台的 SDK,如 Ascend 平台的 CANN 或 NVIDIA0 码力 | 45 页 | 6.18 MB | 1 年前3
openEuler 23.09 技术白皮书希望与广大生态伙伴、用户、开发者一起,通过联合创新、社区共建,不断增强场景化能力,最终实现统 一操作系统支持多设备,应用一次开发覆盖全场景。 openEuler 覆盖全场景的创新平台 开源操作系统的构建过程,也是供应链聚合优化的过程。拥有可靠开源软件供应链,是大规模商用操作系统的基础。 openEuler 从用户场景出发,回溯梳理相应的软件依赖关系,理清所有软件包的上游社区地址,源码和上游对应验证。完 成构建验证、分 且 GMEM API 与 Linux 原生内存管理 API 保持统一,易用性强,性能与可移植性好。 加速器使用 GMEM API 将内存接入统一地址空间后,可自动获得 GMEM 面向异构内存编程优化的能力。与此同时,加 速器驱动无需重复实现内存管理框架,大幅降低开发维护带来的成本。 开发者使用一套统一申请、释放的 API,即可完成异构内存编程,无需处理内存搬移等细节。在加速器 HBM 内存不足时, HBM 内存条件下测试。) 应用场景 异构内存特性 为了结合加速器算力与 CPU 通用算力,实现统一的内存管理和透明内存访问,GMEM 设计了统一虚拟内存地址空间 机制,将原本的 OS 与加速器并行的两套地址空间合并为统一虚拟地址空间。 GMEM 建立了一套新的逻辑页表去维护这个统一虚拟地址空间,通过利用逻辑页表的信息,可以维护不同处理器、不 同微架构间多份页表的一致性。基于逻辑页表的访存0 码力 | 52 页 | 5.25 MB | 1 年前3
openEuler 22.03-LTS 技术白皮书14 版本中,openEuler 内核研发团队代码贡献量排名全球第一。坚持内核创新,持续贡献 上游社区。 openEuler 开放透明的开源软件供应链管理 开源操作系统的构建过程,也是供应链聚合优化的过程。拥有可靠开源软件供应链,是大规模商用操作系统的基础。 openEuler 从用户场景出发,回溯梳理相应的软件依赖关系,理清所有软件包的上游社区地址,源码和上游对应验证。完 成构建验证、 容器化部署、运维,提供与业务容器一致的基于 K8s 的管理体验。 • 安全容器方案:iSulad+shimv2+StratoVirt 安全容器方案,相比传统 Docker+Qemu 方案,底噪和启动时间优化 40%。 • 双平面部署工具 eggo:ARM/x86 双平面混合集群 OS 高效一键式安装,百节点部署时间 <15min。 新场景 • 边缘计算:发布面向边缘计算场景的版本 openEuler 10 内核构建,在此基础上,同时吸收了社区高版本的有益特性及社区创新 特性: • 进程调度优化:优化进程负载均衡算法,减少负载均衡过程中的开销,提升性能。 • 内核动态抢占:新增启动选 preempt=none/voluntary/full,允许内核动态切换抢占模式。 • mremap 性能优化:通过移动 PMD/PUD 级别的表项,加速映射大块内存的速度。 • per memcg lru0 码力 | 17 页 | 6.52 MB | 1 年前3
Zadig 面向开发者的云原生 DevOps 平台发布 服务三:设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 以前:面向代码片段的串行交付 现在:面向多个服务编排的产品级自动化并行交付 服务一: 服务定义 | 构建 | 部署 | 测试 | 发布 服务二: 服务定义 | 构建 | 部署 | 测试 | 发布 Zadig 企业交付案例场景深化 开 发 者 场 景 挖 掘 3-5 个领域敏感型场景 建立产品发展委员会 贡献者流程优化 2022 年 9 月 场 景 深 化 能 力 增 强 Helm/K8s YAML/ 托管场景接入流程优化 UX/UI 升级,工程师一线体验优化 推出效能看板,实时客观度量工程数据指标 效 率 优 化 、 开 发 者 体 验 增 强 2023 年 面向生态伙伴开放场景 工作,开发自助发布 需求研发总耗时降低 30% 需求迭代周期缩短 1-5 倍 解放开发,专注编码 更多的架构和技术提升 测试 效率和质量难以平衡: • 自动化测试难以开展 • 环境不稳定并行验证效率低 • 测试多苦劳,价值难以体现 测试效果提升:独立稳定环境用于测试验收、自动化建设 价值被团队感知:自动化测试从开发到发布被全团队感知 部署频率升高 1-5 倍 验证有效性提升0 码力 | 59 页 | 81.43 MB | 1 年前3
Zadig 面向开发者的云原生 DevOps 平台服务二:设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务三:设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 以前:面向代码片段的串行交付 现在:面向多个服务编排的产品级自动化并行交付 服务一: 服务定义 | 构建 | 部署 | 测试 | 发布 服务二: 服务定义 | 构建 | 部署 | 测试 | 发布 服务三: 服务定义 | 构建 | 部署 | 测试 | 发布 代码一: Zadig 企业交付案例场景深化 开 发 者 场 景 挖 掘 3-5 个领域敏感型场景 建立产品发展委员会 贡献者流程优化 2022年9月 场 景 深 化 能 力 增 强 Helm/K8s YAML/托管场景接入流程优化 UX/UI 升级,工程师一线体验优化 推出效能看板,实时客观度量工程数据指标 效 率 优 化 、 开 发 者 体 验 增 强 2023年 面向生态伙伴开放场景 90% 工作,开发自助发布 需求研发总耗时降低 30% 需求迭代周期缩短 1-5 倍 解放开发,专注编码 更多的架构和技术提升 测试 效率和质量难以平衡: • 自动化测试难以开展 • 环境不稳定并行验证效率低 • 测试多苦劳,价值难以体现 测试效果提升:独立稳定环境用于测试验收、自动化建设 价值被团队感知:自动化测试从开发到发布被全团队感知 部署频率升高 1-5 倍 验证有效性提升 100%0 码力 | 59 页 | 23.57 MB | 1 年前3
openEuler 22.03 LTS SP2 技术白皮书希望与广大生态伙伴、用户、开发者一起,通过联合创新、社区共建,不断增强场景化能力,最终实现统 一操作系统支持多设备,应用一次开发覆盖全场景。 openEuler 覆盖全场景的创新平台 开源操作系统的构建过程,也是供应链聚合优化的过程。拥有可靠开源软件供应链,是大规模商用操作系统的基础。 openEuler 从用户场景出发,回溯梳理相应的软件依赖关系,理清所有软件包的上游社区地址、源码和上游对应验证。完 成构建验证、 容器化部署、运维,提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案:iSulad+shimv2+StratoVirt 安全容器方案,相比传统 Docker+Qemu 方案,底噪和启动时间优化 40%。 • 双平面部署工具 eggo:ARM/X86 双平面混合集群 OS 高效一键式安装,百节点部署时间 <15min。 新场景 • 边缘计算:发布面向边缘计算场景的版本 openEuler 嵌入式虚拟化 Linux 5.10 内核 调度/内存/文件系统/... 分布式软总线 Linux 生态 硬实时应用 硬实时 实时内核 工具体系 统一构建系统 IDE DFX 体系 性能优化 调试 维测 SDKs 仿真 统一 元数据表达 构建 DSL 统一 执行引擎 混合部署框架 11 openEuler 22.03 LTS SP2 技术白皮书 场景创新 嵌入式系0 码力 | 48 页 | 5.62 MB | 1 年前3
openEuler 21.09 技术白皮书14 版本中,openEuler 内核研发团队代码贡献量排名全球第一。坚持内核创新,持续贡献 上游社区。 openEuler 开放透明的开源软件供应链管理 开源操作系统的构建过程,也是供应链聚合优化的过程。拥有可靠开源软件供应链,是大规模商用操作系统的基础。 openEuler 从用户场景出发,回溯梳理相应的软件依赖关系,理清所有软件包的上游社区地址,源码和上游对应验证。完成 构建验证、 容器化部署、运维,提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案:iSulad + shimv2 + StratoVirt 安全容器方案,相比传统 docker + qemu 方案,底噪和启动时间 优化 40%。 • 双平面部署工具 eggo:ARM/X86 双平面混合集群 OS 高效一键式安装,百节点部署时间 <15min。 探索场景创新 边缘计算:发布面向边缘计算场景的版本 openEuler 02 03 04 05 06 07 08 09 10 11 12 进程调度优化:优化进程负载均衡算法, 减少负载均衡过程中的开销,提升性能; 内核动态抢占:新增启动选 preempt=none/voluntary/full,允许 内核动态切换抢占模式。 mremap 性能优化:通过移动 PMD/PUD 级别的表项,加速映射大块内存的速度。 per memcg lru0 码力 | 35 页 | 3.72 MB | 1 年前3
openEuler 21.03 技术白皮书架构,同时发布了 RISC-V 的体验版本。 openEuler 希望与广大用户和开发者一起加速完善多样化算力的生态和性能体验。 openEuler 希望把工作负载和最合适的算力单元进行匹配,通过软件优化提升并行处理能力,高效的释放多样性算力。 openEuler 版本管理 openEuler 20.03 LTS openEuler 系统镜像下载 openEuler 社区主线 openEuler Linux Kernel 5.10 版本中,华为的代码贡献量排名全球第一。坚持内核创新,持续贡献上游社区。 openEuler 开放透明的开源软件供应链管理 开源操作系统的构建过程,也是供应链聚合优化的过程。拥有可靠开源软件供应链,是大规模商用操作系统的基础。 openEuler 从用户场景出发,回溯梳理相应的软件依赖关系,理清所有软件包的上游社区地址,源码和上游对应验证。完成 构建验证、分 openEuler WHITE PAPER 系统框架 openEuler 操作系统使用场景主要是服务器,包括基础加速库、虚拟化、内核、驱动、编译器、系统工具、OpenJDK 等组件。 创新架构,全栈优化,打造全场景协同的 One OS,充分释放多样性算力。 IDE 自调优工具 A-Tune 测试平台 Compass-CI 工具链 OpenStack Kubernetes 麒麟HA 集群调度0 码力 | 18 页 | 1.30 MB | 1 年前3
Linux Lab v1.1 中文手册年发起,经过数年的开发与迭代,Linux Lab 于 2019 年 6 月 28 日迎来了第 1 个 正式版本 v0.1。 • v0.1 rc3 – 按需加载 prebuilt 并迁移代码仓库到国内,大幅优化了下载体验 • v0.1 rc2 – 修复了几处基础体验 Bugs • v0.1 rc1 – 历史上发布的第 1 个版本,在历史功能上进一步添加了 raspi3 和 RISC-V 支持 1 的方式新增龙芯全面支持 – 携手码云,在国内新增 QEMU、U-Boot 和 Buildroot 的每日镜像 1.6.3 v0.3 @ 2020.03.12 v0.3 统一了所有组件的公共操作接口更方便记忆,进一步优化了大型仓库的下载体验,通 过添加自动依赖关系简化了命令执行并大幅度提升实验效率,为多本知名 Linux 图书新增了 v2.6.10, v2.6.11, v2.6.12, v2.6.14, v2.6 载、检出、打补丁、配置、编 译、启动 • v0.3 rc1 – 添加多本知名 Linux 图书所用内核支持 1.6.4 v0.4 @ 2020.06.01 v0.4 通过提升镜像下载速度、优化 make 性能、完善登陆方式等进一步完善使用体验,同 时首次为 64 位 ARM 架构的 aarch64/virt 新增 U-Boot 支持并升级 arm/vexpress-a9 的 U-Boot0 码力 | 70 页 | 1.53 MB | 1 年前3
共 78 条
- 1
- 2
- 3
- 4
- 5
- 6
- 8













