石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版
产品经 理 ⽤户 团队⾓⾊构成 测试主 管 • 产品使⽤者 • 产品规划,需求排期 • 推动⺫标实现 • 对整体产品进⾏规划,需求排期 • 对产品团队负责 • 负责开发任务的分解,任务下发 • 开发团队管理 • 功能接⼝性能测试 • 产品质量保证 • 测试团队管理 • 团队管理 • 为系统应⽤稳定性负责 • 定义监控指标 • 修改配置⽂件 • 应⽤运⾏稳定保障 知识管理⼯具对知识协 同共享 ü 需求处理过程全链路追 溯 ü 及时通知 开发测试场景 任务完成 构建集成 部署⾃测 编码实现 任务拆解分配 ü 开发任务关联需求 ü 事务管理⼯具对任务进⾏ 细粒度拆解 ü 设置合理的任务⼤⼩, 跟 踪开发状态 ü IDE 与DevOps⼯具紧密 集成 ü 代码变更管理任务 ü 本地代码扫描保证质量 ü 推荐Git 分⽀管理模型 ü 代码提交触发流⽔线 试case进⾏图形化编排降 低⾃动化测试编写难度 测试case编写 ⾃动化测试编排 发版提测场景 版本Signoff ü 交付内容标准化规范化 ü 交付内容版本可追踪 ü 交付内容关联需求 ü 交付内容关联开发任务 ü 交付内容管理变更范围 ü 使⽤⾃动化测试⼯具快速 校验交付质量,加速测试 效率 ü 按照编写好的测试case进 ⾏⼿⼯测试 ü 版本发布⾯板,跟踪版 本发布进度 创建发版⼯单 测试环境部署0 码力 | 33 页 | 7.49 MB | 1 年前3第1930期:Kubernetes基础介绍
设施的负担,并使应用程序运营商和开发人员完全将重点放 在以容器为中心的业务上进行自助运营。Kubernetes 也提供稳定、兼容的基础(平台),用于构建定制化的workflows 和更 高级的自动化任务。Kubernetes 具备完善的集群管理能力,包括多层次的安全防护和准入机制、多租户应用支撑能力、透明 的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度 制 Controller Manager控制管理器(kube-controller-manager):k8s里所有资源对象的自动化控制中心,可以理解为 资源对象的“大总管”。运行着所有处理集群日常任务的控制器。包括节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态,比如故障检测、自动扩展、滚动更新等。 Scheduler调度器(kube-scheduler):负责资 de节点在 指定时间不上报,那么Master就会认为它“失联”,标记成“Not Ready”状态。 Node节点上运行一组关键进程: kubelet:主节点代理,负责Pod对应的容器的创建启停等任务,同时与Master节点密切协作,实现集群管理的基本功 能。 kube-proxy:它负责节点的网络,在主机上维护网络规则并执行连接转发。它还负责对正在服务的pods进行负载平衡。 比如一个服务可0 码力 | 49 页 | 4.11 MB | 1 年前3第29 期| 2023 年9 月- 技术雷达
长,如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时,我们希望开发人员能够负责任 地使用所有这些工具,并且始终掌控主导权,比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效 对于非技术人员来说,软件开发有时似乎很神奇,这导致管理者需要努力衡量开发人员在完成其神秘任务时的 生产效率。我们的首席科学家 Martin Fowler RAG,你会先从非参数记忆中去检索相关文档集 (一般是通过在向量数据库中的相似性搜索),再使用 LLM 中的参数记忆生成与检索出的文档一致的输出。我们 发现 RAG 对各种需要大量知识的 NLP 任务十分有用,包括问答,总结和故事生成。 技术 © Thoughtworks, Inc. All Rights Reserved. 15 11. 基于风险的故障建模 试验 基于风险的故障建模是 OIDC,来验证流水线,而不是赋予它 们直接访问机密数据的权限。实行最小权限原则去最小化个人用户和执行器账户的权限,而不是使用具有无限 访问权限的万能账户。使用一次性执行器替代重复使用执行器,来减少暴露先前任务的机密数据或在受到攻击 的运行器上运行任务的风险。将执行代理和执行器上的软件更新到最新版本。像监控你的生产软件一样去监控 你的 CI/CD 系统的完整性、保密性和可用性。 我们不断见到有团队忘记这些实践,特别是当他们使用在内部网络中自我管理的0 码力 | 43 页 | 2.76 MB | 1 年前3云计算白皮书
区块链等技术的跨境贸易。 云计算白皮书(2023 年) 12 浙江 2023.3 《2023 年宁波市中小企业发展专 项资金因素法分配专项资金海曙 区使用管理办法》 完成市对区上云任务考核,对获评 省级制造业“云上企业”给予 15 万元的奖励,其中已评为省级标杆 上云企业的减半奖励。 2022.6 《加强科技创新助力经济稳进提 质的若干政策措施》 支持平台企业技术创新。支持平台 向下来看,算力资源呈现出计算异构、算网融合的特点。以 GPT-4 为例,其模型训练借助公有云能力在通用 CPU 的基础上整合 上万个 GPU 芯片,通过云计算平台实现 GPU 集群和 CPU 集群的标 准化封装,保障训练任务可以直接下发到大规模计算集群。同时在 数据处理方面,模型训练涉及 PB 级的存储数据集、中间结果和训练 好的模型参数等,且数据类型各异,也需要云计算平台提供的存储 方案,实现复杂数据的统一调度和处理。计算芯片多样化、异构数 驭数发布 DPU 芯片 K2,能够实现 1.2 微秒低时延和最高 200G 网络 带宽。 以计算为中心向以数据为中心这一过渡变化,促使算力服务形 成全新架构,体现在三个方面:一是调度对象方面,面向任务的调 度逐渐取代面向资源的调度,用户的计算需求将贯穿算力服务始终; 二是能力结构方面,算力管理与计算解耦,灵活性进一步提升,形 成相辅相成、共同发展的局面;三是产业格局方面,算力服务生态 进0 码力 | 47 页 | 1.22 MB | 1 年前3Kubernetes 容器编排与应用编排
无视 unschedulable Kubernetes 控制器 CronJob CronJob Job Pod 1. 定时执行的批处理任务 2. 定时任务并发策略 * Allow * Forbid * Replace 3. 支持单任务并发控制 一个简单的编排案例 Client API DB API Proxy DB Proxy DB Backup Monitoring DaemonSet Job CronJob = 无状态应用 有状态应用 守护型应用 批处理任务 应用编排架构 重新审视这个例子 Client API DB API Proxy DB Proxy DB Backup Monitoring 无状态应用 有状态应用 守护型应用 批处理任务 应用编排架构 应用编排架构 API Gateway APP API Service0 码力 | 20 页 | 4.22 MB | 1 年前3Kubernetes 异常配置检测框架
Node Node Node Global Job Custom Job Node Script Image 1. 根据集群类型、版本、场景生成检测策略 2. 根据策略执行检测任务 3. 检测任务支持脚本或容器镜像 Ver.1 优化点 快速迭代的 Kubernetes 版本 • 月度发版 • 版本间的配置、参数、API 差异 多样集群类型(阿里云容器服务) • 托管版集群、Serverless version > 1.0.9.14 Checkpoint terway.version terway.status Ver.2 动态扩展 Report Executor • 不同检测策略动态扩展检测任务 • KCQL + Data Driver = 泛化调用 Policy cluster.addon.terway.version > 1.0.9.14 Expression Engine VPC 转发配置错误 Autopilot Engine 诊断任务 网络检测 Conntrack 采集 网卡丢包事件 所有包采集 Flow 采集 ebpf 注入 trace 读取 集群升级 集群异常检测闭环 • 集群升级前置检查 • 集群升级 • 集群升级后置检查 Autopilot Engine 诊断任务 前置检查 检测通过 检测未通过 修复 升级 1.120 码力 | 31 页 | 9.57 MB | 1 年前3GPU Resource Management On JDOS
dockerfile 生成镜像服务) – 选择存储来源:对接了内部的存储 – 填写代码地址,执行的命令等 – 可以选择是否监控训练,提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 可以查看具体的容器列表,以及查看容器的日志和事件 Serving 服务 提供统一便捷的 Serving 服务,只需用户指定模型,即可提供 grpc 和 rest0 码力 | 11 页 | 13.40 MB | 1 年前3k8s操作手册 2.3
DaemonSet用于在集群中的全部节点上同时运行一份指定的pod副本(master打 了污点,所以默认不运行,可以设置容忍度)后续新加入集群的工作节点也会 自动创建一个相关的pod副本,这些pod一般是执行系统级操作任务的服务,如 应用代理,监控,日志收集等 # vi monit.daemonset.yml #内容如下 apiVersion: apps/v1 kind: DaemonSet daemonset.yml #应用 # kubectl get daemonset #查看 ★Job控制器 job控制器用于运行一次性pod(如执行sql脚本或一次性备份任务等)容器中的 进程在正常运行结束后,置为completed状态,且不会再重启,如果进程运行失 败,则根据配置决定是否要重启 # vi xx-job.yml #内容如下 apiVersion: 如何运行 # Allow允许下一次作业运行,Forbid禁止,Replace替换 failedJobsHistoryLimit: 1 #失败的任务 历史记录数,默认1 successfulJobsHistoryLimit: 3 #成功的任务 历史记录数,默认3 jobTemplate: metadata: labels: joblb: jbxxx0 码力 | 126 页 | 4.33 MB | 1 年前3基于 KUBERNETES 的 容器器 + AI 平台
Kubeflow 社区的联合创始⼈人 • kubeflow/tf-operator • 定义 TFJob Spec (CRD) • 跟踪 TensorFlow 任务运⾏行行状态 • ⽀支持分布式 TensorFlow 任务 KUBEFLOW 之上 • 借⼒力力容器器平台提供⽣生产级的集群资源管理理 • ⼯工作区隔离与共享 • 数据、模型、环境、应⽤用等 • 全⾯面⽀支持 AI0 码力 | 19 页 | 3.55 MB | 1 年前3Kubernetes for Edge Computing across Inter-Continental Haier Production Sites
initiator • 企业级产品与解决方案 • Compass: 打通业务与数据、从数字化到智能化转 型 • Clever: 基于容器的 AI PaaS 平台(AI Devops、资 源管理任务调度) 工业互联网平台 - 制造业大势所趋 • 全球工业互联网平台数量 > 150 国家 研究内容 代表成果 政策扶持 工业互联网综合平台,采用数据流打通与 数据分析衍生价值的结构 Predix平台 INDICS平台 根云平台 COSMOPlat平台 … 2017年11月,国务院印发了《关于深化“互联网+先进 制造业”发展 工业互联网的指导意见》(以下简称: 《指导意见》),明确将打造平台 体系作为七大任务之 一,提出构建工业互联网标准体系,实施标准研制及 试验验证工程。 • GE 波音 罗克韦尔 IBM INTEL CISCO 微软 AT&T PTC HP DELL EMC • SAP 博士 SIEMENS0 码力 | 33 页 | 4.41 MB | 1 年前3
共 20 条
- 1
- 2