Ozone:Hadoop 原生分布式对象存储Ozone:Hadoop 原生分布式对象存储 Spark大数据博客 - https://www.iteblog.com Ozone:Hadoop 原生分布式对象存储 Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone,同时提供对象和文件访问的接 口,从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇,抛个 砖,介绍Ozone的产生背景,主要架构和功能。 10 Ozone:Hadoop 原生分布式对象存储 Spark大数据博客 - https://www.iteblog.com 强一致性 构架简洁性: 当系统出现问题时,一个简单的架构更容易定位,也容易调试。Ozone尽可能的保持架构 的简单,即使因此需要可扩展性上做一些妥协。但是在Ozone在扩展性上绝不逊色,目标 是支持单集群1000亿个对象。 构架分层 Ozone 采用分层的文件系统。Namespace Locality,使得计算能够尽可能的靠近数据。 语义 Ozone是一个分布式Key-value对象存储系统。Ozone提供给用户的语义包含Volume, Bucket 和Key。 2 / 10 Ozone:Hadoop 原生分布式对象存储 Spark大数据博客 - https://www.iteblog.com 如果想0 码力 | 10 页 | 1.24 MB | 1 年前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)、DevOps 支持持续迭代和运维 自动化,利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。 云原生安全威胁分析与能力建设白皮书 12 1.1.2 云原生安全 云原生安全作为云原生的伴生技术,旨在解决云原生技术面临的安全问题, 其作为一种新兴的安全理念,强调以原生的思维实现云上安全并推动安全与云计 算深度融合。我们在 2022 年发布的中国联通云原生安全实践白皮书中[2],对比 DevOps 开发多个维度, 这打破了原有的信息安全视角。在应对不断出现的针对云原生基础设施、平台及 容器的安全威胁过程中,原有的安全体系也产生了变革。主要表现在如下几个方 面: 防护对象产生变化 安全管理的边界扩展到了容器层面,需要采用新的安全策略和工具来保护容 器的安全性,如容器镜像的验证和加密、容器漏洞扫描和运行时监测等。 架构的变化 多云及混合云下的应用架构及工作负载更加复杂,需要采用分布式安全策略 kubelet 安全配 置要求、 CNI 和网络策略安全配置要求 2 网络安全等级 保护容器安全 要求 由中关村信息安全测评联盟团体标准委员会提出并归口,规定了在云环境中 采用容器集群技术的等级保护对象要求,包括第一级至第四级的安全要求。 3 云原生能力成 熟度模型 第 1 部分:技术架构 由中国信息通信研究院牵头编写,规定了基于云原生技术的平台架构的能力 成熟度评估模型,从服务化能力0 码力 | 72 页 | 2.44 MB | 1 年前3
云计算白皮书界的广泛关注。 生态建设方面,合作伙伴成为云服务商扩大市场的新方式。合 作伙伴作为连接云厂商与企业的桥梁,是云厂商长期稳定发展的保 障。过去一年,全球主流云服务商积极汇聚伙伴生态、变革伙伴合 作模式、坚持伙伴优先战略,合作伙伴生态被提升到新高度。一是 云服务商关注到上云企业对 ISV 等合作伙伴依赖突出,通过“赢得 伙伴”的战略赢得市场。随着数字化转型进入深水区,企业上云着 重于把数字技术与 《关于加快推进新时代体育强省 建设的实施意见》 运用互联网、大数据、云计算、物 联网等信息技术,推进体育资源整 合、数据共享、互联互通。 2023.4 《2023 年成都高新区支持企业数 字化智能化技术改造申报对象范 围和补贴政策》 鼓励企业“上云用数赋能”,对评 为四川省五星级、四星级、三星级 上云企业称号的,分别奖励 20 万 元、10 万元、5 万元。 重庆 2023.3 《关于印发推动川南渝西地区融 框架理念,并落地多个应用场景;中科 驭数发布 DPU 芯片 K2,能够实现 1.2 微秒低时延和最高 200G 网络 带宽。 以计算为中心向以数据为中心这一过渡变化,促使算力服务形 成全新架构,体现在三个方面:一是调度对象方面,面向任务的调 度逐渐取代面向资源的调度,用户的计算需求将贯穿算力服务始终; 二是能力结构方面,算力管理与计算解耦,灵活性进一步提升,形 成相辅相成、共同发展的局面;三是产业格局方面,算力服务生态0 码力 | 47 页 | 1.22 MB | 1 年前3
OpenShift Container Platform 4.6 网络NETWORK OPERATOR 配置 4.5.1. Cluster Network Operator 配置对象 defaultNetwork 对象配置 配置 OpenShift SDN CNI 集群网络供应商 配置 OVN-Kubernetes CNI 集群网络供应商 kubeProxyConfig 对象配置 4.5.2. Cluster Network Operator 配置示例 4.6. 其他资源 10.2.1. 创建网络策略 10.2.2. 示例 NetworkPolicy 对象 10.3. 查看网络策略 10.3.1. 查看网络策略 10.3.2. 示例 NetworkPolicy 对象 10.4. 编辑网络策略 10.4.1. 编辑网络策略 10.4.2. 示例 NetworkPolicy 对象 10.4.3. 其他资源 10.5. 删除网络策略 10.5.1. 删除网络策略 网络设备的组件 12.1.1.1. 支持的平台 12.1.1.2. 支持的设备 12.1.1.3. 自动发现 SR-IOV 网络设备 12.1.1.3.1. SriovNetworkNodeState 对象示例 12.1.1.4. 在 pod 中使用虚拟功能的示例 12.1.2. 后续步骤 12.2. 安装 SR-IOV NETWORK OPERATOR 12.2.1. 安装 SR-IOV Network0 码力 | 256 页 | 2.78 MB | 1 年前3
OpenShift Container Platform 4.9 网络其他资源 第 第 7 章 章 验证 验证到端点的 到端点的连 连接 接 7.1. 执行连接健康检查 7.2. 连接健康检查实现 7.3. PODNETWORKCONNECTIVITYCHECK 对象字段 7.4. 验证端点的网络连接 第 第 8 章 章 配置 配置节 节点端口服 点端口服务 务范 范围 围 8.1. 先决条件 8.2. 扩展节点端口范围 8.3. 其他资源 第 第 9 章 提供名称解析服务。这会在 OpenShift Container Platform 中启用基于 DNS 的 Kubernetes 服务发现。 部署 部署 维护应用程序生命周期的 Kubernetes 资源对象。 domain Domain(域)是 Ingress Controller 提供的 DNS 名称。 egress 通过来自 pod 的网络出站流量进行外部数据共享的过程。 外部 外部 DNS 报告可用状态条件时,AVAILABLE 字段为 True。 4.2. 查看集群网络配置 每个 OpenShift Container Platform 新安装都有一个名为 cluster 的 network.config 对象。 流程 流程 使用 oc describe 命令查看集群网络配置: 输 输出示例 出示例 $ oc get -n openshift-network-operator deployment/network-operator0 码力 | 388 页 | 4.04 MB | 1 年前3
OpenShift Container Platform 4.9 节点2. 使用 Web 控制台创建 pod 横向自动扩展 2.4.3. 使用 CLI 根据 CPU 使用率创建 pod 横向自动扩展 2.4.4. 使用 CLI 根据内存使用率创建 pod 横向自动扩展对象 2.4.5. 使用 CLI 了解 pod 横向自动扩展状态条件 2.4.5.1. 使用 CLI 查看 pod 横向自动扩展状态条件 2.4.6. 其他资源 2.5. 使用垂直 POD 自动扩展自动调整 使用投射卷来映射卷 6.4.1. 了解投射卷 6.4.1.1. Pod specs 示例 6.4.1.2. 路径注意事项 6.4.2. 为 Pod 配置投射卷 6.5. 允许容器消耗 API 对象 6.5.1. 使用 Downward API 向容器公开 Pod 信息 6.5.2. 了解如何通过 Downward API 消耗容器值 6.5.2.1. 使用环境变量消耗容器值 6.5.2.2 集群的 Kubernetes 服务。 在集群中运行稳定和健康的节点是基本运行托管应用程序的基本操作。在 OpenShift Container Platform 中,您可以通过代表节点的 Node 对象访问、管理和监控节点。使用 OpenShift CLI(oc)或 Web 控制台, 您可以在节点上执行以下操作。 节点的以下组件负责维护运行 pod 并提供 Kubernetes 运行时环境。0 码力 | 374 页 | 3.80 MB | 1 年前3
OpenShift Container Platform 4.13 网络第 第 12 章 章 验证 验证到端点的 到端点的连 连接 接 12.1. 执行连接健康检查 12.2. 连接健康检查实现 12.3. PODNETWORKCONNECTIVITYCHECK 对象字段 12.4. 验证端点的网络连接 第 第 13 章 章 更改集群网 更改集群网络 络的 的 MTU 13.1. 关于集群 MTU 13.2. 更改集群 MTU 13.3. 其他资源 第 提供名称解析服务。这会在 OpenShift Container Platform 中启用基于 DNS 的 Kubernetes 服务发现。 部署 部署 维护应用程序生命周期的 Kubernetes 资源对象。 domain Domain(域)是 Ingress Controller 提供的 DNS 名称。 egress 通过来自 pod 的网络出站流量进行外部数据共享的过程。 外部 外部 DNS 插件来处理节点防火墙规则,更新统计信息并为丢弃的流量生成事件。Operator 管理入口节点防火墙资 源,验证防火墙配置,不允许错误配置规则来防止集群访问,并将 ingress 节点防火墙 XDP 程序加载到规 则对象中的所选接口。如需更多信息,请参阅了解 Ingress Node Firewall Operator 4.6. NETWORK OBSERVABILITY OPERATOR Network Observability0 码力 | 697 页 | 7.55 MB | 1 年前3
OpenShift Container Platform 4.14 Operator高可用性或单节点集群检测和支持 5.14. 使用 PROMETHEUS 配置内置监控 5.15. 配置领导选举机制 5.16. 为多平台支持配置 OPERATOR 项目 5.17. 基于 GO 的 OPERATOR 的对象修剪工具 4 4 4 5 6 6 7 23 25 64 66 68 70 79 79 80 90 90 107 108 111 113 116 120 121 127 147 151 功能丰富,所有平台均有对应的客户端,并可插入到集群的访问控制/审核中。Operator 会 使用 Kubernetes 的扩展机制“自定义资源定义 (CRD)”支持您的自定义对象,如 MongoDB,它类似于 内置的原生 Kubernetes 对象。 Operator 与 与 Service Broker 的比 的比较? ? 服务代理(service broker)是实现应用程序的编程发现和部署的一个步骤。但它并非一个长时间运行 CSV,一般情况下,用来定义 CRD 所拥有的 API 的 CRD 位于 /manifest 目 录中。 捆绑包格式布局示例 包格式布局示例 额外支持的 外支持的对象 象 以下对象类型也可以包括在捆绑包的 /manifests 目录中: 支持的可 支持的可选对象 象类型 型 ClusterRole ClusterRoleBinding ConfigMap ConsoleCLIDownload ConsoleLink0 码力 | 423 页 | 4.26 MB | 1 年前3
OpenShift Container Platform 4.8 存储行交互。这使系统管理员能够将资源整合到网络上的集中式服务器上。 OpenShift Data Foundation OpenShift Container Platform 支持的文件、块存储和对象存储的、内部或混合云的持久性存储供应商 持久性存 持久性存储 储 Pod 和容器可能需要永久存储才能正常工作。OpenShift Container Platform 使用 Kubernetes 有状态应用是一种应用程序,它会将数据保存到持久磁盘存储中。服务器、客户端和应用程序可以使 用持久磁盘存储。您可以使用 OpenShift Container Platform 中的 Statefulset 对象来管理一组 Pod 的部署和扩展,并保证这些 Pod 的排序和唯一性。 静 静态 态置 置备 备 集群管理员创建多个 PV。PV 包含存储详情。PV 存在于 Kubernetes API 中,可供使用。 被限制在一个命名空间(绑定的项 目)中。 PV 由 PersistentVolume API 对象定义,它代表了集群中现有存储的片段,这些存储可以由集群管理员 静态置备,也可以使用 StorageClass 对象动态置备。它与一个节点一样,是一个集群资源。 PV 是卷插件,与 Volumes 资源类似,但PV 的生命周期独立于任何使用它的 pod。PV 对象获取具体存 储(NFS、iSCSI 或者特定 cloud-provider0 码力 | 118 页 | 1.60 MB | 1 年前3
OpenShift Container Platform 4.6 节点2. 使用 Web 控制台创建 pod 横向自动扩展 2.4.3. 使用 CLI 根据 CPU 使用率创建 pod 横向自动扩展 2.4.4. 使用 CLI 根据内存使用率创建 pod 横向自动扩展对象 2.4.5. 使用 CLI 了解 pod 横向自动扩展状态条件 2.4.5.1. 使用 CLI 查看 pod 横向自动扩展状态条件 2.4.6. 其他资源 2.5. 使用垂直 POD 自动扩展自动调整 使用投射卷来映射卷 6.4.1. 了解投射卷 6.4.1.1. Pod specs 示例 6.4.1.2. 路径注意事项 6.4.2. 为 Pod 配置投射卷 6.5. 允许容器消耗 API 对象 6.5.1. 使用 Downward API 向容器公开 pod 信息 6.5.2. 了解如何通过 Downward API 消耗容器值 6.5.2.1. 使用环境变量消耗容器值 6.5.2 Container Platform 集群。 集群中有稳定健康的节点是托管应用程序的平稳运行的基础。在 OpenShift Container Platform 中,您可 以通过代表节点的 Node 对象访问、管理和监控节点。使用 OpenShift CLI(oc)或 Web 控制台,您可以在 节点上执行以下操作。 读 读取操作 取操作 通过读取操作,管理员可以或开发人员获取有关 OpenShift0 码力 | 404 页 | 3.60 MB | 1 年前3
共 152 条
- 1
- 2
- 3
- 4
- 5
- 6
- 16













