Curve支持S3 数据缓存方案© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 小io每次都要和s3交互,导致性能非常差。 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路,在写场景下能将数据尽可能的合并后flush到s3上,在读场景上,能够预读1个block大小,减少顺序读对于底层s3的访问频次。从这个思路上该缓存方案主要针对的场景是顺序写和顺序 读,而对于随机写和随机读来说也会有一定性能提升,但效果可能不会太好。 元数据采用2层索引 由于chun0 码力 | 9 页 | 179.72 KB | 6 月前3
基于 APM 的智能运维体系在京东物流的落地和实践-付正全基于APM的智能运维体系在京东物流的落地和实践 付正全 京东物流 架构师 自我介绍 付正全,京东物流架构师,国家认证信息系统项目管 理师,曾任浪潮集团系统架构师,专注监控平台研发 工作 8 年,研究过市场上数十家厂商的监控平台产品, 对 DevOps 和监控平台有比较深入的了解。目前负责 京东物流火眼监控平台的架构设计和开发工作。 目录 ⚫业界智能运维发展现状及趋势 ⚫智能运维体系建设方法论 产品规划 大规模实时监控平台V3.0 故障预测、容量预测、性能预测 预测分类: 预测算法: 重点关注: LSTM、多元线性回归、决策树、随机森 林、神经网络、朴素贝叶斯分类、最小二乘 法、支持向量机 … 算法匹配度评分 日历适配、基于节假日的机器学习算法 Kpi自动分类并匹配预测算法 基于业务关联关系的预测算法 预测 大规模实时监控平台V3.0 红绿灯 大屏 可视化 目录 SpanId • ParentSpanId (pSpanId) Jtrace应用示例 架构设计 • 分布式事务跟踪,跟踪分布式应用消息 • 自动检测应用拓扑,帮你搞清楚应用的架构 • 水平扩展支持大规模服务器集群 • 提供代码级别的可见性以便轻松定位失败点和瓶颈 • 使用字节码增强技术,添加新功能无需改动代码 • 集成SQLAdvisor • 智能化采样率 七大能力 : 字节码增强技术0 码力 | 41 页 | 3.52 MB | 1 年前3
openEuler 24.03 LTS 技术白皮书技术白皮书 openEuler 24.03 LTS CONTENTS 场景创新 运行环境 特性增强 云化基座 内核创新 平台架构 商标 附录 著作权说明 概述 01 41 42 43 15 18 20 04 07 10 01 openEuler 24.03 LTS 技术白皮书 概述 概述 02 openEuler 24.03 LTS 技术白皮书 概述 OpenAtom 是一个面向数字基础设施的操作系统,支持服务器、云计算、边缘计算、嵌入式等应用场景,支持多样性计算, 致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障能力,支持 OT 领域应用及 OT 与 ICT 的融合。 openEuler 社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系,孵化支持多种处 理器架构、覆盖数字基础设施全场景,推动企业数字基础设施软硬件、应用生态繁荣发展。 日,面向多样性计算的操作系统开源社区 openEuler 正式成立。 2020 年 3 月 30 日, openEuler 20.03 LTS (Long Term Support,简写为 LTS,中文为长生命周期支持)版本正式发布,为 Linux 世界带来一个全新的具备独立技术演进能力的 Linux 发行版。 2020 年 9 月 30 日,首个 openEuler 20.09 创新版发布,该版本是 openEuler0 码力 | 45 页 | 6.18 MB | 1 年前3
openEuler 22.03 LTS SP2 技术白皮书录 CONTENTS 附录 45 特性增强 20 商标 44 云化基座 17 著作权说明 43 内核创新 12 概述 01 平台架构 04 运行环境 07 场景创新 09 01 openEuler 22.03 LTS SP2 技术白皮书 概述 概述 02 openEuler 22.03 LTS SP2 技术白皮书 概述 openEuler 社区,全称为 是一个面向数字基础设施的操作系统,支持服务器、云计算、边缘计算、嵌入式等应用场景,支持多样性计算, 致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障能力,支持 OT 领域应用及 OT 与 ICT 的融合。 openEuler 社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系,孵化支持 多种处理器架构、覆盖数字基础设施全场景,推动企业数字基础设施软硬件、应用生态繁荣发展。 日,面向多样性计算的操作系统开源社区 openEuler 正式成立。 2020 年 3 月 30 日, openEuler 20.03 LTS (Long Term Support,简写为 LTS,中文为长生命周期支持)版本正式发布, 为 Linux 世界带来一个全新的具备独立技术演进能力的 Linux 发行版。 2020 年 9 月 30 日,首个 openEuler 20.09 创新版发布,该版本是 openEuler0 码力 | 48 页 | 5.62 MB | 1 年前3
openEuler 23.09 技术白皮书04 运行环境 07 场景创新 09 著作权说明 47 01 openEuler 23.09 技术白皮书 概述 概述 02 openEuler 23.09 技术白皮书 概述 欧拉开源操作系统(openEuler, 简称“欧拉”)从服务器操作系统正式升级为面向数字基础设施的操作系统,支持服 务器、云计算、边缘计算、嵌入式等应用场景,支持多样性计算,致力于提供安全、稳定、易用的操作系统。 包容的软件生态体系,孵化支持多 种处理器架构、覆盖数字基础设施全场景,推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日,面向多样性计算的操作系统开源社区 openEuler 正式成立。 2020 年 3 月 30 日, openEuler 20.03 LTS (Long Term Support,简写为 LTS,中文为长生命周期支持)版本正式发布, 为 Linux 社区版本,实现了全场景 支持。增强服务器和云计算的特性,发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术; 同时发布边缘和嵌入式版本。 2022 年 3 月 30 日,基于统一的 5.10 内核,发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 22.03 LTS 版本,聚焦算力释放,持续提升资源利用率,打造全场景协同的数字基础设施操作系统。0 码力 | 52 页 | 5.25 MB | 1 年前3
Zadig 面向开发者的云原生 DevOps 平台面向开发者的云原生 DevOps 平台 角色: 产品 / 架构 开发 测试 运维 运维 / 开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 测试 | 发布 特点: ● 重复流程自动化 ● 边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验,工程师不再做脏活累活 传统 DevOps 体系 Zadig 开 源 基 本 能 力 开 源 1.5 个月核心重构 65% 功能实现开源 支撑开源社区开发者环境 易 用 性 增 强 接入:安装 10 分钟以内,成功率达 90% 集成环境:支持开发者 Remote debug 工作流:效率和性能、开发者体验提升 贡献者流程建立 开 放 社 区 搭 建 2021 年 5 月 2021 年 7 月 2021 年 9 月 20210 码力 | 59 页 | 81.43 MB | 1 年前3
Zadig 面向开发者的云原生 DevOps 平台面向开发者的云原生 DevOps 平台 角色: 产品/架构 开发 测试 运维 运维/开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 构建 | 部署 | 测试 | 发布 特点: ● 重复流程自动化 ● 边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验,工程师不再做脏活累活 传统 DevOps 体系 Zadig 90% 集成环境:支持开发者 Remote debug 工作流:效率和性能、开发者体验提升 贡献者流程建立 开 放 社 区 搭 建 2021年5月 2021年7 月 2021年9 月 2021年11 月 2021年12 月 1 个月功能改造 90% 功能实现开源 技术社区雏形搭建 2022年3月 生态伙伴工具 + Zadig Zadig 企业交付案例场景深化 开 发 者0 码力 | 59 页 | 23.57 MB | 1 年前3
openEuler 22.09 技术白皮书02 平台架构 05 运行环境 09 场景创新 11 特性增强 21 著作权说明 22 商标 22 附录 22 内核创新 13 CONTENTS 01/ 概述 目录 openEuler 22.09 技术白皮书 03 openEuler 22.09 技术白皮书 02 openEuler 覆盖全场景的创新平台 openEuler 已支持 x86、ARM、SW64、RISC-V 多处理器架构,未来还会扩展 多处理器架构,未来还会扩展 PowerPC 等更多芯片架构支持,持续完善 多样化算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建,推动 openEuler 应用边界从最初的服务器场景,逐步拓展到云计算、边 缘计算、嵌入式等更多场景。openEuler 正成为覆盖全场景的操作系统,新增发布面向边缘计算的版本 openEuler 22.09 Edge、面向嵌入式的版本 openEuler openEuler 22.09 Embedded。 openEuler 希望与广大生态伙伴、用户、开发者一起,通过联合创新、社区共建,不断增强场景化能力,最终实现统一操作 系统支持多设备,应用一次开发覆盖全场景。 openEuler 对 Linux Kernel 的持续贡献 openEuler 内核研发团队持续贡献 Linux Kernel 上游社区,回馈主要集中在:芯片架构、ACPI、内存管理、文件系统、0 码力 | 13 页 | 1.39 MB | 1 年前3
Zadig 产品使用手册研发数字化转型方案正成为产业数字化战略的核心环节 Zadig 设计思路:通过「平台工程」解决流程挑战,通过「技术升级」提升组织效能 01 04 02 03 工程化协同:“人、技术、流 程、工具” 四维协同基线,沉 淀全流程数据,从感知到赋 能,服务于工程师 释放云基建能力:链接任何云 及自建资源(容器、主机、车 机、端等),释放云原生价值 和企业创新力 生态开放:广泛开放系统 模块和 OpenAPI 运行效率低,管理维护成本高 方案局限性大,安全性风险高 无法支持敏捷交付模式 支持从需求到发布全流程敏捷交付。尤其面向 多服务并行部署发布,云原生构建环境和运行 环境,基础设施对接及企业级 SSO/ 权限管理 等 运维管理类平台 蓝鲸 Rainbond KubeSphere KubeVela 面向资源管理的运维工具集 面向开发者,需结合 CI/CD 工具额外 搭建全流程能力 专门面向开发者的生产力平台,涵盖需求到开 华为云 DevCloud 阿里云效 腾讯 CODING 云厂商引流为主,锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云友好,厂商中立,全球多地跨云跨域 安全可靠自动化部署 云原生 CI/CD 工具 Tekton Argo 使用门槛高、学习成本高 需要额外建设全流程能力 接入和使用都极其简单,内置模板库 和最佳实践,基于平台工程打造,可以轻松连 接一切工具链0 码力 | 52 页 | 22.95 MB | 1 年前3
Zadig 产品使用手册研发数字化转型方案正成为产业数字化战略的核心环节 Zadig 设计思路:通过「平台工程」解决流程挑战,通过「技术升级」提升组织效能 01 04 02 03 工程化协同:“人、技术、流 程、工具” 四维协同基线, 沉淀全流程数据,从感知到赋 能,服务于工程师 释放云基建能力:链接任何云 及自建资源(容器、主机、车 机、端等),释放云原生价值 和企业创新力 生态开放:广泛开放系统 模块和 OpenAPI 运行效率低,管理维护成本高 方案局限性大,安全性风险高 无法支持敏捷交付模式 支持从需求到发布全流程敏捷交付。尤其面向 多服务并行部署发布,云原生构建环境和运行 环境,基础设施对接及企业级 SSO/权限管理等 运维管理类平台 蓝鲸 Rainbond KubeSphere KubeVela 面向资源管理的运维工具集 面向开发者,需结合 CI/CD 工具额外 搭建全流程能力 专门面向开发者的生产力平台,涵盖需求到开 华为云 DevCloud 阿里云效 腾讯 CODING 云厂商引流为主,锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云友好,厂商中立,全球多地跨云跨域 安全可靠自动化部署 云原生 CI/CD 工具 Tekton Argo 使用门槛高、学习成本高 需要额外建设全流程能力 接入和使用都极其简单,内置模板库 和最佳实践,基于平台工程打造,可以轻松连 接一切工具链0 码力 | 52 页 | 16.27 MB | 1 年前3
共 135 条
- 1
- 2
- 3
- 4
- 5
- 6
- 14













