第29 期| 2023 年9 月- 技术雷达对长时间不活跃的应用程序或服务提交的 PR。 如果系统具有广泛的测试覆盖范围——不仅有完善的单元测试,还包括有功能和性能测试,并且构建流水线必 须运行所有这些测试以及安全扫描,我们更提倡自动合并依赖项更新 PR。 简而言之,团队必须完全相信,流水 线运行成功后,软件就可以投入生产。在这种情况下,依赖项更新 PR,即使它们在间接依赖项中包含主要版本 更新,也应该自动合并。 6. 针对 FAIR 数据的数据产品思维 Orca 无需代理,因此提供了良好的开发者 体验,并且易于设置。另一个显著的特点是它促进了安全的左移。我们的团队使用 Orca CLI 来扫描容器镜像 和 IaC 模板,以检测漏洞和配置错误,作为预提交钩子或 CI/CD 工作流的一部分。它还持续监控和扫描容器仓 库(如 AWS ECR),以查找已发布镜像中易受攻击的基础镜像或脆弱的操作系统依赖项。根据我们团队的经验, Orca 提供了从开 提供了从开发到生产的安全状态的统一视图,因此我们将其放入试验阶段。 31. Trino 试验 Trino 以前被称之为 PrestoSQL,是一个专为面向大数据交互式分析查询而设计的开源分布式 SQL 查询引擎。经 过优化后,它可以在本地或者云上环境运行,并支持对 Hive、Cassandra、关系型数据库、甚至专有数据存储 等多种不同的数据源进行查询。它支持基于密码的认证、LDAP 和 OAuth 的身份验证机制,同时具备在0 码力 | 43 页 | 2.76 MB | 1 年前3
Kubernetes开源书 - 周立Building High-Availability Clusters 。 etcd etcd ⽤作Kubernetes的后端存储。集群的所有数据都存储在此。请为你Kubernetes集群的etcd数据提供备份计划。 kube-controller-manager kube-controller-manager 运⾏Controller,它们是处理集群中常规任务的后台线程。逻辑上来讲,每个Controller都是⼀ ⾏Kubernetes时 与cloud-controller-manager相关联。 以下控制器存在云提供商依赖: Node Controller:⽤于检查云提供商,从⽽确定Node在停⽌响应后从云中删除 Route Controller:⽤于在底层云基础设施中设置路由 Service Controller:⽤于创建、更新以及删除云提供商负载均衡器 Volume Controller: Label是附加到对象(如Pod)的键值对。Label旨在⽤于指定对⽤户有意义的对象的识别属性,但不直接表示核⼼系统 的语义。Label可⽤于组织和选择对象的⼦集。Label可在创建时附加到对象,也可在创建后随时添加和修改。每个对象 都可定义⼀组Label。 对于给定的对象,Key必须唯⼀。 "labels" : { "key1" : "value1" , "key2"0 码力 | 135 页 | 21.02 MB | 1 年前3
云计算白皮书First)、“云敏捷”(Cloud Smart)之后,又出台多个战略文件, 将云计算应用至相关领域,并明确提出通过云战略获取全球优势, 以确保其在经济、军事、科技等领域的领先地位。欧洲、亚洲等主 要国家纷纷发布国家战略或计划,推动云计算在各行业的应用布局, 深度挖掘云计算产业价值。我国政策指引云计算应用创新,持续推 动云计算与实体经济融合走深。 二是全球云计算市场稳定增长,我国保持快速发展。2022 年, 全球云计算市场规模为 在经济、军事、科技等方面的竞争优势。 欧盟强调数字主权发展,发布一系列计划和准则,在主权云、 可信化监管等方面进行了重点部署。欧盟高度重视云计算行业发展, 鼓励成员国政府部门率先使用云计算,在公共服务部门推广云服务, 带动云计算产业发展。2020 年 7 月,欧盟基于“欧洲云”概念,提 出 GAIA-X 云计划,旨在通过保证透明度、安全性和隐私性来增加 云服务的可信度。2021 年 5 了其“数字政府”战略和首个《2023-2025 年数据战略》,将通过统 一的云计算架构和基础设施提升数据应用价值和安全性。 日本发布多个计划,积极推动云计算在政务领域的深度应用。 日本政府于 2021 年 9 月份成立数字厅,同年 10 月开始导入政府云 服务,计划于 2025 年之前构建所有中央机关和地方自治团体能共享 行政数据的云服务,2026 年 3 月份前实现全国各市町村的基础设施 与云服务互联互通。20220 码力 | 47 页 | 1.22 MB | 1 年前3
Kubernetes 异常配置检测框架Conformance-testing(K8s 兼容性检查) • 节点上自定义数据的收集(依赖于自定义插件) 问题上报 • 需要采集和分析结果文件 Kube* CIS Kubernetes Benchmark 集群安全扫描 集群综合检查 执行 bpftrace 检测工具小结 工具 适用场景 局限性 kube-bench 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 识别集群常态或运维操 作后可能存在的问题 在集群运维操作前识别 导致操作异常的问题 集群巡检 现象 • Node 节点新增安全组,一段时间后发现 Node 节点状态 异常 原因 • 集群 Master 节点和 Node 节点处在不同的安全组中且安 全组并未相互放开。新建安全组仅对新建连接生效,不会 拦截已有连接,因此一段时间后问题才会浮现 预防 • 配置安全组后可通过集群巡检功能检测集群安全组配置是否0 码力 | 31 页 | 9.57 MB | 1 年前3
Operator Pattern 用 Go 扩展 Kubernetes 的最佳实践list & watch 机制中,list 获取 API Server 中数据的一份快照,并记 录 ResourceVersion 版本信息,watch 从 ResourceVersion 开始,获取后 续的增量数据。 watch 通过网络异步(asynchronous)获取增量数据,所以 cache 提供 的是最终一致性(eventual consistency)。 期间遇到网络、API Server 的是最新版本,也不能假设一次 reconcile 中始 终会读到同一个版本 避免写后读 同一个 controller,在一次 reconcile 中,避免写 (create、update、delete)完一个对象后马上去 读(get、list)最新版本,等controller-runtime 触发下一次 reconcile 遵循惯例开发模式 即 controller 用读 cache,UT 中不用 cache stale c-lag -- ❌ ❌ u-lag -- ✅ ✅ d-lag ❌ -- -- 问题抽象 本地 cache 中的对象有两种可能,即及时(latest)与过 期(stale),我们生成的执行计划有3种可能的动作,即 Create、Update 和 Delete。 进一步的,stale 对象意味着本地 cache 落后于 API Server 中对象若干版本,也就是说有一段增量更新还没有0 码力 | 21 页 | 3.06 MB | 9 月前3
高性能 Kubernetes 元数据存储 KubeBrain 的设计思路和落地效果-许辰Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1) 读 • 单 Key 读,提供线性一致性 • Range 扫描读,支持快照读,支持分页 写 • K8s 乐观锁 resource version • 单 Key CAS Watch • Kubernetes list-watch 的底层依赖 Range 读 逻辑层 – Range 读一致性 • Range 从 Leader 获取滑动窗 口当前 Committed Index 序 号 • 根据当前序号进行快照读 • Range 后 Client 通过 Watch 从leader RingBuffer 中获取 增量事件,达到 最终一致性 逻辑层 – 选主 逻辑层 – TSO 接入层 接入层 客户端 客户端 K8s0 码力 | 60 页 | 8.02 MB | 1 年前3
202106 KubeOperator:开源的轻量级 Kubernetes 发行版
节点; 备份 ⽀支持 etcd 定期备份和⽴立即备份; 恢复 ⽀支持 etcd 备份策略略⽂文件恢复和本地⽂文件恢复; 安全合规 ⽀支持集群健康评分(X-Pack); ⽀支持 CSI 安全扫描; 应⽤用商店 提供 GitLab、Jenkins、Harbor、Argo CD、Sonarqube 等 CI/CD ⼯工具;提供 Kuboard、Weave Scope、Redmine 等管理理⼯工具;提供深度学习AI 等管理理⼯工具;提供深度学习AI 应⽤用,⽐比如 TensorFlow。 KubeOperator 企业版⽀支持服务内容 ⽀支持服务 7×24 ⼯工单及电话⽀支持服务,1 个⼩小时内响应客户⼯工单;接到故障申报后,⼯工程师通过电话⽀支持、远程接 ⼊入等⽅方式协助客户及时排除软件故障。 安装及培训服务 合计 5 ⼈人天的原⼚厂专业服务,可提供现场安装、现场紧急救助、软件故障排查、培训等专业⽀支持服务;并且 可以根据企业0 码力 | 20 页 | 1.62 MB | 1 年前3
Kubernetes全栈容器技术剖析华为公有云 客户问题: •稳定运行的成熟期业务( 15年 发行),希望通过降成本措施提 升利润率 •计划通过释放部分私有云服务 器等固定资产方式降低成本。为 应对业务阶段性的高峰,希望采 用公有云的资源池作为补充 华为方案价值: •采用容器混合云方式,业务高 峰时将负载弹性到华为公有云 上,解决降成本后私有云资源不 足的问题 •业务高峰期仅4-5个月,采用弹 性的公有云资源,帮助客户达成 50%的降成本目标 Efficiency 6 倍 提升 30 时间缩短 弹性伸缩应高峰 容器配置与数量根据业 务量秒级扩缩容,轻松 应对热点业务高峰浪涌 应业务量弹性扩缩容 占用资源减半 该项目实施后,节约一次性 投资1160万元,节约机架 租赁及软硬件维保费用530 万元/年 1160 万 … … … 节约投资 Equipment 节约成本 530 万 中移动咕互娱运维平台承担所有业0 码力 | 26 页 | 3.29 MB | 1 年前3
QCon北京2018/QCon北京2018-基于Kubernetes与Helm的应用部署平台构建实践-张夏-赵明+CI/CD� 从持续集成到持续交付过程图示 • 将源代码、配置、脚本放于Git做 版本控制 • 各Repo做定期同步 • 通过promote tag筛选发布候选 版本 • 服务部署后做自动化post check 服务在混合云上的部署架构 � 混合云部署应用演示 基于Consul的混合云服务发现 服务在Kubernetes中部署时会通过Consul client将新启动的服务通过环境变量 集成流水线拉取各服务稳定 版本� • 流水线自动触发实现集成测 试无感知� • 集成包括:� • 环境准备� • 数据准备� • 用例执行� • 结果分析� 系统集成自动化测试框架方案 � 后续工作计划展望 • Docker file合规性检查: docker run --rm -i hadolint/hadolint < Dockerfile� • 资源动态伸缩0 码力 | 28 页 | 12.18 MB | 1 年前3
石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版⼈员⾓⾊权限 初始化 配额管理 ⼯具链⽀撑体系 事务 跟踪 ⼯具 知识 库 代码托 管 制品仓 库 镜像仓 库 测试管 理平台 流⽔线编 排⼯具 代码质 量管控 镜像安 全扫描 运营统 计⼯具 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 运营统计 编译打 包 代码质量 管理 多语⾔ 构建 安全管控 构建实 任务拆解分配 ü 开发任务关联需求 ü 事务管理⼯具对任务进⾏ 细粒度拆解 ü 设置合理的任务⼤⼩, 跟 踪开发状态 ü IDE 与DevOps⼯具紧密 集成 ü 代码变更管理任务 ü 本地代码扫描保证质量 ü 推荐Git 分⽀管理模型 ü 代码提交触发流⽔线 ü 流⽔线⾃动进⾏单元测 试 ü 流⽔线⾃动进⾏编译打 包 ü 流⽔线⾃动⽣成镜像 ü 流⽔线⾃动部署更新服 务 ü 事务管理⼯具跟踪状态0 码力 | 33 页 | 7.49 MB | 1 年前3
共 32 条
- 1
- 2
- 3
- 4













