在大规模Kubernetes集群上实现高SLO的方法0 码力 | 11 页 | 4.01 MB | 1 年前3
Kubernetes开源书 - 周立和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像,从⽽实现可预测的升级和回滚,但VM是重 量级、不可移植的。 新⽅法是部署容器,容器基于操作系统级别的虚拟化⽽不是硬件虚拟化。这些容器彼此隔离并且与宿主机隔离:它们有 ⾃⼰的⽂件系统,看不到对⽅的进程,并且它们的计算资源使⽤可以被界定。它们⽐VM更容易构建,并且由于它们与 底层基础架构和宿主机⽂件系统解耦了,可实现跨云、跨操作系统的移植。 由于容器⼩⽽快 )。 不提供/不采⽤任何综合的机器配置、维护、管理或⾃愈系统。 另⼀⽅⾯,⼀些PaaS系统可运⾏在 Kubernetes上,例如 Openshift 、 Deis 、Eldarion 等。 您也可实现⾃⼰的定制 PaaS,与您选择的CI系统集成,或者仅使⽤Kubernetes部署容器。 由于Kubernetes在应⽤层⾯⽽⾮硬件层⾯上运⾏,因此它提供了PaaS产品通⽤的功能,例如部署,扩展,负载均衡, 最终,笔者决定使⽤Kubespray部署Kubernetes集群。也希望⼤家能够⼀起讨论,总结出更加好的部署⽅案。 废话不多说,以下是操作步骤。 注:撰写本⽂时,笔者临时租赁了⼏台海外阿⾥云机器,实现了科学上⽹。如果您的机器在国内,请: 考虑科学上⽹ 或修改Kubespray中的gcr地址,改为其他仓库地址,例如阿⾥云镜像地址。 主机规划 IP 作⽤ 172.20.0.87 ansible-client0 码力 | 135 页 | 21.02 MB | 1 年前3
第29 期| 2023 年9 月- 技术雷达感知产生影响的条件。新的工具,比如 DX DevEx 360,通过关注开发者体验而不是一些虚假的产出衡量标准解 决了这个问题。然而,许多领导人仍然以模糊的、定性的方式衡量开发者的“生产力”。我们怀疑,这种兴趣的 复苏至少有一部分原因是受到了人工智能辅助软件开发的影响,这不可避免地引发了一个问题:它是否产生了 积极的影响?虽然衡量标准可能变得更加细致入微,但真正的生产力衡量仍然难以捉摸。 本期主题 © Thoughtworks 团队使用如 Collibra 和 DataHub 的数据目录实现数据产品的可发现性,为了建立信任,我们发布数据质量和服务等级指标,比如数 据产品的及时性、完整性和一致性,并使用 Soda Core 和 Great Expectations 等工具自动化数据质量检查。 数 据可观测性可同时通过 Monte Carlo 等平台实现。 我们已经看到数据产品随着时间的推移,演变为多个用例的可重用构建块。随着我们在识别和构建价值驱动的 数据的数据产品 思维。 技术 © Thoughtworks, Inc. All Rights Reserved. 14 7. OIDC for GitHub Actions 试验 推荐实现 CI/CD 的零信任安全的技术之一是通过使用 OpenID Connect(OIDC)等联合身份机制对流水线进行 身份验证,以访问云服务。这一重要的技术仍未被充分利用在 GitHub Actions0 码力 | 43 页 | 2.76 MB | 1 年前3
第1930期:Kubernetes基础介绍水平扩展:通过简单明了实现水平扩展,基于CPU等资源负载率的自动水平扩展。 服务发现和负载均衡:实现内部负载均衡可以实现服务访问负载。 自动发布和回滚:可以自动实现版本的发布和回滚。 秘钥和配置管理:对于密码等信息,专门提供了Secert对象为其解耦。 存储编排:支持多种不同类型的存储,包括本地存储、云存储、网络存储等。 批量处理执行:除服务型应用,还支持批处理作业CI(持续集成),如有需要,一样可以实现容器故障后修复。 指定时间不上报,那么Master就会认为它“失联”,标记成“Not Ready”状态。 Node节点上运行一组关键进程: kubelet:主节点代理,负责Pod对应的容器的创建启停等任务,同时与Master节点密切协作,实现集群管理的基本功 能。 kube-proxy:它负责节点的网络,在主机上维护网络规则并执行连接转发。它还负责对正在服务的pods进行负载平衡。 比如一个服务可能会运行多个副本(Pod),由他来控制 Pod的设计理念是支持多个容器在一个Pod中共享网络和文件系统,可以通过进程间通信和文件共享这种简单高效的方式 组合完成服务。 每个Pod都有一个特殊的称之为“根容器”的Pause容器。Pause容器对应的镜像属于k8s平台的一部分,除了Pause容 器外,每个Pod还包含一个或多个紧急相关的用户业务容器。他为每个业务容器提供如下功能:①在pod中担任Linux命 名空间共享的基础。②启用pid命名空间,开启init进程。 引入这种方式的原因:0 码力 | 49 页 | 4.11 MB | 1 年前3
Operator Pattern 用 Go 扩展 Kubernetes 的最佳实践我是谁 毕业即创(shi)业 从被收购到卷王(si) 回到初(qi)心(dian) KubeBlocks Maintainer & 研发总监 free6om 什么是 Operator 第一部分 Operator 前世今生 TPR Operator CRD Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR 小版本升级、大版本升级、安全漏洞修复等等。 Data Migrations 迁移、同步、清洗、跨地域、灾备、多活等等。 DB Operator Day-2 Operations Operator 基础模型 第二部分 K8s 架构 Cache Informer 机制 Cache 如何获取到本地(内存中) Informer 启动后会通过 reflector 的 list & watch 机制获取某种资源的 这个过程可以推广到多个 stale 对象。 所以最终 stale cache 下能保证 operator 的正确性,前提是 operator 要收到所有对象的事件。 Operator 最佳实践 第三部分 Operator 开发常见概念关系 Kubebuilder 框架模型 Setup 阶段接口 // For defines the type of Object being *reconciled*0 码力 | 21 页 | 3.06 MB | 9 月前3
腾讯基于 Kubernetes 的企业级容器云实践-罗韩梅一次现网事故 一个用户需求 可靠 设计目标 ◼在某个cgroup网络繁忙时,能保证其设定配额不会被其他cgroup挤占 ◼在某个cgroup没有用满其配额时,其他cgroup可以自动使用其空闲的部分带宽 ◼在多个cgroup分享其他cgroup的空闲带宽时,优先级高的优先; 优先级相同 时, 配额大的占用多,配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 GPU使用方式 实现 VCUDA 在vm中构建wrapper library以拦截GPU调用并将这些调用重定向 到宿主机执行 Amazon 将设备直接挂在到vm中 GPUvm 在Zen的hypervisor层实现了全虚拟化。为了隔离运行在物理 GPU上的多个VM,GPUvm将物理GPU分成几个部分,并将每个 部分分配给单个VM。 NVIDIA GRID 在硬件层面实现GPU虚拟化,每个容器可以绑定一个虚拟GPU 在硬件层面实现GPU虚拟化,每个容器可以绑定一个虚拟GPU NVIDIA Docker 通过将GPU设备及运行时的库转为volume挂载到容器中实现了容 器与驱动的解耦。但是一个GPU设备仅能挂载到一个容器中,不 支持容器间共享GPU设备 ConvGPU 仅支持内存资源的共享且仅处理单个GPU 容器使用GPU的问题: • 需要特定的硬件设备 • 不支持容器共享 • 仅支持内存资源虚拟化 • 仅支持单个GPU卡 采用Device0 码力 | 28 页 | 3.92 MB | 1 年前3
基于Kubernetes构建容器云平台的实践
- UCloud优刻得实验室负责⼈ 叶理灯Gateway 镜像仓库 统⼀一代码管理理 统⼀一编程框架 统⼀一通讯协议 统⼀一部署环境 计算平台/KUN 公共服务 存储平台 Think in Cloud . 北北京 基于RBAC实现 账号管理理隔离 01 IPv6 02 Operator管理理有 状态的服务 03 监控 04 Think in Cloud . 北北京 • K8S提供了了多种身份认证策略略,具体如何实施? 管理理User,如何管理理User? • K8S有⼀一套完整的权限系统,但如何处理理User与权限的绑定? • 对于多集群,如何实现User跨集群的管理理? 基于RBAC实现账号管理理隔离 Think in Cloud . 北北京 基于RBAC实现账号管理理隔离 • 选择Token认证⽅方式 • 通过服务账号SA模拟普通⽤用户User,即User与SA⼀一⼀一对应 • 所有 ……. ClusterRole: 1. cr-ns 2. cr-get Kubertnetes集群 ⽤用户管理理 ⽤用户:U1、U2 Think in Cloud . 北北京 基于RBAC实现账号管理理隔离 • 抽象Project对象给User使⽤用 • Project与每个集群的NS⼀一⼀一对应 • User在每个集群上都有对应模拟账号,⽤用于NS授权 NS ServiceAccount:SS0 码力 | 30 页 | 3.52 MB | 1 年前3
石墨文档Go在K8S上微服务的实践-彭友顺石墨文档GO在K8S上微服务的实践 彭友顺 石墨文档 基础设施负责人 目 录 1 架构演进 01 2 微服务的生命周期 02 3 如何管理好微服务 03 架构演进 第一部分 架构演进 单体应用时期 垂直应用时期 微服务时期 快速、简单 耦合强 隔离、稳定 复制多 隔离、稳定 复用高 架构演进 组件增多 架构复杂 维护困难 架构演进 传统模式 K8S模式 框架简单 编译 部署 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 编译 部署 2014年6月K8S开源 微服务的生命周期 第二部分 微服务的生命周期 开发 测试 部署 启动 调用 治理 微服务的开发阶段 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 统一配置、调用用方式,降低开发心智负担 调试gRPC • 调试信息 • 错误定位 Generate • protoc -I {error proto file} --go-errors_out={output directory} • 实现我们自定义的error类型,方便断言。 • 根据注解的code信息,在错误码中生成对应的grpc status code • 确保错误码唯一,后续在API层响应用户数据确保唯一错误码,例如: 下单失败(1008)0 码力 | 41 页 | 3.20 MB | 1 年前3
运维上海2017-Kubernetes与AI相结合架构、落地解析-赵慧智Intelligence) 人工智能(英语:Artificial Intelligence, AI 亦称机器智能,是 指由人工制造出来的系统所表现出来的智能。通常人工智能是 指通过普通电脑实现的智能。同时也指研究这样的智能系统是 否能够实现,以及如何实现的科学领域。 AI 模型在生产环境中部署及运行提供保障 AI 模型实现工具及其框架举例 • 不同的框架和工具都有其优点长处。 AI 工程师工作流程 存储对接 • 存储通常都由云平台 通过SaaS服务提供 • 在 AI 平台中对于存 储进行统一的管理和 操作 数据预处理 AI 工程师的大部分工作都是在 做数据预处理的部分,而可视 化 UI 则可以大大减少 AI 工程 师的工作量。 Kubernetes 融合与架构解析 AI 云平台与 Kubernetes 融合 • Kubernetes 作为 AI 平 台的一个核心调度和任 务管理平台 • AI 业务层负责将具体 的业务逻辑实现,并与 Kubernetes 层对接 • 在底层硬件选型需要注 意适合 AI 模型训练和 在线服务的类型,例如 10G及以上的 networking和GPU TensorFlow 介绍0 码力 | 77 页 | 14.48 MB | 1 年前3
云计算白皮书.......................................................................16 表 目 录 表 1 2022-2023 年中国部分省市云计算相关政策..................................................11 云计算白皮书(2023 年) 1 一、全球云计算发展概述 (一)各 2023 年 2 月又发布了《国防云战略路线图》,该路线图明确定义了到 2025 年 的云愿景和战略成果,提供了建立国防云的实施路径,大力推动云 计算在英国国防现代化转型变革中的应用与扩展,明确了云是实现国 防数字骨干和数据战略的关键推动因素。澳大利亚明确云计算是推 进产业数字化转型的必由之路,在 2021 年 12 月份先后更新和发布 了其“数字政府”战略和首个《2023-2025 年数据战略》,将通过统 用。 日本政府于 2021 年 9 月份成立数字厅,同年 10 月开始导入政府云 服务,计划于 2025 年之前构建所有中央机关和地方自治团体能共享 行政数据的云服务,2026 年 3 月份前实现全国各市町村的基础设施 与云服务互联互通。2022 年 12 月,日本政府将云应用程序确定为经 济安全的 11 个关键领域之一,其工业部留出了 200 亿日元预算用于 与云有关的研究和推进活动。0 码力 | 47 页 | 1.22 MB | 1 年前3
共 41 条
- 1
- 2
- 3
- 4
- 5













