openEuler 24.03 LTS 技术白皮书
CANN 或 NVIDIA 的 CUDA 软件。 • AI 框架镜像:以 SDK 镜像为基础,安装 AI 框架软件,如 PyTorch 或 TensorFlow。 • 模型应用镜像:在 AI 框架镜像的基础上,包含完整的工具链和模型应用。 相关使用方式请参考 openEuler AI 容器镜像用户指南。 openEuler 使能 AI,向用户提供更多 OS 选择。基于 openEuler 的 AI 等应用的开发和调试。同时, 可在该类容器中运行高性能计算任务,例如大规模数据处理、并行计算等。 • AI 框架镜像:用户可直接在该类容器中进行 AI 模型开发、训练及推理等任务。 • 模型应用镜像:已预置完整的 AI 软件栈和特定的模型,用户可根据自身需求选择相应的模型应用镜像来开展模型推理或微调 任务。 应用场景 场景创新 12 openEuler 24.03 LTS 技术白皮书 EulerCopilot 相关使用方式请参考 EulerCopilot 智能问答服务使用指南。 EulerCopilot- 智能问答 功能描述 应用场景 当前,openEuler 和 AI 深度结合,一方面使用基础大模型,基于大量 openEuler 操作系统的代码和数据,训练出 EulerCopilot, 初步实现代码辅助生成、智能问题智能分析、系统辅助运维等功能,让 openEuler 更智能。 AI for0 码力 | 45 页 | 6.18 MB | 1 年前3openEuler 23.09 技术白皮书
HBM)中以提高计算速度。加速器厂商们也不可避免地需要开发复杂的内存管理系统。 现行加速器内存管理方案存在诸多缺陷: • CPU 侧内存管理与加速器侧分离,数据显式搬移,加速器内存管理的易用性和性能难以平衡。 • 大模型场景下加速器设备 HBM 内存(Hign BandWidth Memory)严重不足,现有的手动 swap 方案性能损耗大且 通用性差。 • 搜推、大数据场景存在大量无效数据搬移,缺少高效内存池化方案。 前上限为 CPU 的 DRAM 容量)。GMEM 将较冷的设备内存页换出到 CPU 内存上,拓展了应用处理的问题规模,实现高性能、低门槛训推。 通过 GMEM 提供的极简异构内存管理框架,在超大模型训练中,GMEM 性能领先 NVIDIA-UVM。随着内存使用量增长,领 先比例不断提升,在超分两倍以上时可领先 NVIDIA-UVM 60% 以上。(数据基于 NPU-Ascend910 与 GPU-A100 访问时,通过内核缺页流程即可将待访问内存在主 机与加速器进行搬移。在实际使用时,加速器可在内存不足时可以借用主机内存,同时回收加速器内的冷内存,达到内存 超分的效果,突破模型参数受限于加速器内存的限制,实现低成本的大模型训练。 通过在内核中提供 GMEM 高层 API,允许加速器驱动通过注册 GMEM 规范所定义的 MMU 函数直接获取内存管理功能, 建立逻辑页表并进行内存超分。逻辑页表将内存管理的高层逻辑与0 码力 | 52 页 | 5.25 MB | 1 年前3openEuler 22.03 LTS SP2 技术白皮书
优先级负载均衡特性 负载均衡 FIFO 任务迁移队列不区分优先级,无法解决跨核迁移抢占保障高优先级,特别是 CPU 敏感型任务的优先调 度,针对在线、离线容器混部场景下,CFS 负载均衡需要提出一种优先级队列模型,支持高低优先级的 QoS 负载均衡,确 保在线业务能更快得到调度和执行,最大化压制离线任务的 QoS 干扰,提高整机 CPU 资源利用率。 混部场景中,开启了 CPU QoS 优先级负载均衡特性,需要将 混部的核心技术是资源隔离控制。 业务可根据时延敏感性分为高优先级业务和低优先级业务,将业务区分优先级混合部署以提高资源利用率。高优先级 虚拟机业务推荐:时延敏感类业务,如 web 服务、高性能数据库、实时渲染、机器学习推理等。低优先级虚拟机业务推荐: 非时延敏感类业务,如视频编码、大数据处理、离线渲染、机器学习训练等。 应用场景 版本功能如下: • 集群调度增强:增强 OpenStack 等基准测试中性能大幅优于上游社区的 GCC 10.3 版本。 • 支持 mcmodel=medium、fp-model、四精度浮点、矢量化数学库等功能。 • 支持自动反馈优化特性,实现应用层 MySQL 数据库等场景性能大幅提升。 • 多版本 GCC 共存支持:提供以 GCC 12.2.0 为基线的 gcc-toolset-12 系列软件包,支持 Intel SPR 相关特性。 • 本次新增支持内核反馈优化特性。通过增强内核与0 码力 | 48 页 | 5.62 MB | 1 年前3openEuler 21.03 技术白皮书
数据读写压力的方法。准确的检测方法可以帮资 源使用者确定合适的工作量,帮助系统制定高效 的资源调度策略,最大化利用系统资源,改善用 户体验。 8. TCP 发包切换到了 Early Departure Time 模型: 解决原来 TCP 框架的限制,根据调度策略给数据 包设置 Early Departure Time 时间戳,避免大的 队列缓存带来的时延,同时大幅提升 TCP 性能。 9. 支持 MultiPath 断,对用户不友好,利用内核 热升级,可以让客户无感知的情况下对引入新的内核特性。 内存分层扩展 etMem 当前内存制造工艺已经达到瓶颈,Arm 生态发展让每个 CPU 核的成本越来越低。数据库、虚拟机、大数据、人工智能、 深度学习场景同时需要算力和内存的支持。内存容量成为了制约业务和算力的问题。 内存分层扩展通过 DRAM 和低速内存介质,如 SCM、AEP 等形成多级内存,通过内存自动调度让热数据在 内存访问效率。 • IO 子系统增强:支持多通道并发 IO 能力,提高 IO 性能。支持 IO-QOS 能力,提升虚拟机 IO 流量管理的灵活性和 稳定性。 • 系统调用过滤:通过极简设备模型设计和 SECOMP 过滤系统调用,最简配置下仅需使用 35 个系统调用,有效减小 系统攻击面。 更多详细内容请参考 openEuler 20.09 技术白皮书:https://openeuler0 码力 | 18 页 | 1.30 MB | 1 年前3openEuler 22.03-LTS 技术白皮书
边缘数据服务:通过边缘数据服务实现消息、数据、媒体流的按需持久化,并具备数据分析和数据导出的能力。 4. 边云智能协同架构(Sedna):基于开源 Sedna 框架,提供基础的边云协同推理、联邦学习、增量学习等能力,并 实现了基础的模型管理、数据集管理等,使能开发者快速开发边云 AI 协同特性,以及提升用户边云 AI 特性的训练 与部署效率。 应用场景 可应用智能制造、城市交通、高速收费稽查、智慧加油站、医疗影像识别、智慧园区等广泛的边云协同场景。 贝复用,提升跨主机和设备业务通讯性能。 • MPAM 增强:支持外部接口自定义配置分区 rmid,支持 MPAM 设备节点通过 device tree 配置启动,可用于虚拟化 等场景。 • TCP 压缩特性:hbase 等分布式数据库节点间数据传输量大,网络传输是性能瓶颈;在 TCP 层对指定端口的数据进 行压缩后再传输,收包侧把数据解压后再传给用户态,从而提升分布式场景节点间数据传输的效率。 • 支持 SGX 特性:SGX osnoise tracer:osnoise tracer 支持分析系统噪声对业务线程的干扰,可以清晰的找出干扰源。 内存分级扩展 当前内存制造工艺已经达到瓶颈,生态发展让每个 CPU 核的成本越来越低。数据库、虚拟机、大数据、人工智能、深 度学习场景同时需要算力和内存的支持。内存容量成为了制约业务和算力的问题。 内存分级扩展通过 DRAM 和低速内存介质,如 SCM、AEP,以及 RDMA 远端内存等形成多级内存,通过内存自动调度0 码力 | 17 页 | 6.52 MB | 1 年前3openEuler 21.09 技术白皮书
等文件系统,满足单机应用、云原生分布式应用高性能 数据存储诉求。 openEuler 21.09 技术白皮书 12 内存分级扩展 当前内存制造工艺已经达到瓶颈,Arm 生态发展让每个 CPU 核的成本越来越低。数据库、虚拟机、大数据、人工智能、 深度学习场景同时需要算力和内存的支持。内存容量成为了制约业务和算力的问题。 内存分扩展通过 DRAM 和低速内存介质,如 SCM、AEP ,以及 RDMA 远端内存等形成多级内存,通过内存自动调度让 统一集群化部署、监控、审计等场景。 安全容器 StratoVirt: 1. 强安全性:基于 Rust 实现语言级安全,模块按需组合最小化攻击面,支持多租户物理隔离。 2. 轻量低噪:采用极简设备模型时,启动时间小于 50ms,内存底噪小于 4M。 3. 软硬协同:支持 x86 的 VT,支持鲲鹏的 Kunpeng-V。 4. 极速伸缩:毫秒级设备扩缩能力,为轻量化负载提供灵活的资源伸缩能力。 边缘数据服务:通过边缘数据服务实现消息、数据、媒体流的按需持久化,并具备数据分析和数据导出的能力 4. 边云智能协同架构(Sedna):基于开源 sedna 框架,提供基础的边云协同推理、联邦学习、增量学习等能力, 并实现了基础的模型管理、数据集管理等,使能开发者快速开发边云 AI 协同特性,以及提升用户边云 AI 特性的 训练与部署效率。 应用场景 可应用智能制造、城市交通、高速收费稽查、智慧加油站、医疗影像识别、智慧园区等广泛的边云协同场景。0 码力 | 35 页 | 3.72 MB | 1 年前3openEuler 22.09 技术白皮书
函数的生命周期管理 • 兼容 OCI 格式容器镜像,管理本地函数镜像资源 2. Wasm 轻量级协程调度框架 抽象 Wasm 实例执行上下文,支持轻量级高性能的用户态协程调度模型,并支持 JIT/AOT 多种 Wasm 实例执行模型。 应用场景 适用于按需启动短时间运行时的无状态 FaaS 函数任务,例如在 CDN 边缘计算场景下,可以部署客户自定义实现的请求 预处理函数,实现按需拉取、快速响应。 拓扑时的可见范围 2. 用户态工具部分 用户态工具提供的功能,是对接内核态上述功能提供的 sysfs 接口供用户使用,将目标应用运行在指定的隔离 CPU 上。 HPC 业务特征大部分符合 BSP 模型 (Bulk Synchronous Parallel Computing):并行计算 + 通信 + 同步。系统噪声对这 类业务特征有较大性能影响。系统噪声指的是业务运行中执行的非应用计算任务,包括:系统 平台上业务平稳运行的轻薄的保护层。 StratoVirt 主要优势如下: • 强安全性:基于 Rust 实现语言级安全,模块按需组合最小化攻击面,支持多租户物理隔离。 • 轻量低噪:采用极简设备模型时,启动时间小于 50ms,内存底噪小于 4M。 • 软硬协同:支持 x86 的 VT,支持鲲鹏的 Kunpeng-V。 • 极速伸缩:毫秒级设备扩缩能力,为轻量化负载提供灵活的资源伸缩能力。0 码力 | 13 页 | 1.39 MB | 1 年前3Ubuntu 桌面培训 2010
OpenOffice.org 演示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 4.1.4 OpenOffice.org 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 4.1.5 OpenOffice.org 图画 . . . . . . 强调 Ubuntu 和其他操作系统不同,默认桌面是绝对干净的。用户可以根据喜好自由 地在桌面上添加文件和程序图标。 GNOME 是 Ubuntu 的默认桌面环境。 GNOME (GNU 网络对象模型环境,GNU Network Object Model Environment)是一个国际性的项目,为开发完整的,由自 由软件组成的桌面环境而努力。桌面环境,即图形用户界面,是计算机系统中最外层 的软件。GNOME 套件包含下列应用程序,一同协助您高效地完成工作: • OpenOffice.org 文字处理 • OpenOffice.org 电子表格 • OpenOffice.org 演示 • OpenOffice.org 数据库 • OpenOffice.org 图画 • OpenOffice.org Math 访问 OpenOffice.org 套件: • 在应用程序菜单中,点击办公,然后点击您想要使用的 OpenOffice0 码力 | 524 页 | 57.54 MB | 1 年前3Debian 参考手册(版本 2.109)
under the modern environment. Debian 参考手册 11 / 233 组 可访问命令 sudo 不带它们的密码运行 sudo lpadmin 执行命令以从打印机数据库添加、修改、移除打印机 Table 1.8: 著名的由系统提供用于特定命令运行的组列表 由系统提供的用户和组的完整列表,参见由 base-passwd 包提供的“/usr/share/doc/b hello [1]+ Done echo ”hello” >mypipe $ ls mypipe mypipe $ rm mypipe 1.2.9 套接字 套接字被广泛应用于所有的互联网通信,数据库和操作系统本身。它类似于命名管道(FIFO)并且允许进程之间甚至 不同计算机之间进行信息交换。对于套接字,这些进程不需要在同一时间运行,也不需要是同一个父进程的子进程。 它是进程间通信(IPC)的一 pattern 使用 shell “pattern”查找匹配的文件名(速度较慢) locate -d . pattern 使用 shell “pattern”查找匹配的文件名(速度较快,使用定期 生成的数据库) grep -e ”pattern” *.html 在当前目录下以“.html”结尾的所有文件中,查找匹配 “pattern”的文件并显示 top 全屏显示进程信息,输入“q”退出 ps aux0 码力 | 261 页 | 1.39 MB | 1 年前3Ubuntu 桌面培训 2010
OpenOffice.org 演示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 IV.I.IV OpenOffice.org 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 目录 5 Ubuntu 桌面培训 目录 IV.I.V OpenOffice 强调 Ubuntu 和其他操作系统不同,默认桌面是绝对干净的。用户可以根据喜好自由 地在桌面上添加文件和程序图标。 GNOME 是 Ubuntu 的默认桌面环境。 GNOME (GNU 网络对象模型环境,GNU Network Object Model Environment)是一个国际性的项目,为开发完整的,由自 由软件组成的桌面环境而努力。桌面环境,即图形用户界面,是计算机系统中最外层 的软件。GNOME 套件包含下列应用程序,一同协助您高效地完成工作: • OpenOffice.org 文字处理 • OpenOffice.org 电子表格 • OpenOffice.org 演示 • OpenOffice.org 数据库 • OpenOffice.org 图画 • OpenOffice.org 公式 OpenOffice.org • 在应用程序菜单中,点击办公,然后点击您想要使用的 OpenOffice.org0 码力 | 540 页 | 26.26 MB | 1 年前3
共 45 条
- 1
- 2
- 3
- 4
- 5