顾静, 阿里云 邓隽, 阿里云 Kubernetes 异常配置检测框架 我们来自阿里云容器服务 • 顾静，研发工程师 • 邓隽，技术专家 我们参与打造 • 容器服务（ACK/ASK） • 容器镜像服务（ACR） • 服务网格（ASM） • … 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 Kubernetes 使用日常 • 应用部署 • API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测 kube-hunter 适用于集群安全检测 仅能检测集群安全性 kubectl-trace

图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群的dns服务器或写入/etc/hosts文件 里。如： 主机名 ip地址 k8s-master1 .conf文件及系统对外通信网口上配置有 默认路由；根据实际情况添加 # cat >> /etc/resolv.conf <配置selinux，则可关闭SELinux，若对安全性要求较高，则需自行配置 x，若对安全性要求较高，则需自行配置 # sed -i '/^SELINUX/s/enforcing/disabled/' /etc/selinux/config # setenforce 0 #关闭selinux ④ulimit设置 # cat >> vi /etc/security/limits.conf <

0 码力 | 126 页 | 4.33 MB | 1 年前

3

Spring 91. Mockery 92. Netflix DGS 93. OpenTelemetry 94. Polars 95. Pushpin 96. Snowpark 评估 97. 基准配置文件 98. GGML 99. GPTCache 100. 语法性别 API 101. htmx 102. Kotlin Kover 103. LangChain 104. LlamaIndex 105 攻击路径分析 试验 攻击路径分析是一种分析和评估潜在攻击路径的安全分析方式，黑客可能按照这些来自组织内系统网络的潜在 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域，例如错误的配置，脆弱的容器， 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 都提供了相应的支持程序，可以用来创建和配置这些服务，例如 Splunk、 Datadog、PagerDuty 和 New Relic。因此，我们建议团队除了云资源外，还应使用 Terraform 创建监控和告 警。这将实现更模块化的 IaC，更易于理解和维护。与所有 IaC 一样，同时使用多种方式进行配置变更，会带来 不一致的风险。所以，我们建议禁用通过用户界面和 API 的方式处理配置变更，确保 Terraform

12-Master与Node的通信 13-Node 14-Pod 15-Replica Set 16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 上，并结合了社区中最佳的创意和实践。 为什么使⽤容器 寻找你为啥要使⽤容器 的原因？ 01-什么是Kubernetes 4 部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟 持在Kubernetes上运⾏CI⼯作流，⽽不强制⼯作流如何⼯作。 允许⽤户选择其⽇志记录、监视和警报系统。（它提供了⼀些集成。） 不提供/授权⼀个全⾯的应⽤配置语⾔/系统（例如 jsonnet ）。 不提供/不采⽤任何综合的机器配置、维护、管理或⾃愈系统。 另⼀⽅⾯，⼀些PaaS系统可运⾏在 Kubernetes上，例如 Openshift 、 Deis 、Eldarion 等。 您也可实现⾃⼰的定制

迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS：虚拟机、物理机、ARM服务器 • 支持多种存储：云硬盘、对象存储、文件存储 • 对接公私网络：虚拟私有网络、EIP公网 对接公私网络：虚拟私有网络、EIP公网 容器引擎CCE：基于开源Kubernetes和Docker技术的企业级容器服务 开源原生平台 商业增强特性 控制面 HA 跨AZ高可用 容器优雅缩容 多策略弹性伸缩 镜像加速 滚动升级 配置模板化 自动化构建 自动化部署 节点自动伸缩 GUI/CLI/API 物理共享集群 多语言多框架 Java/Python/Go/Node.js 第三方模板&镜像部署 K8S Helm/Docker 11 国内首发Windows容器服务：帮助企业实现海量Windows应用轻松容器 化上云 根据第三方咨询公司统计，大约有80%以上的企业现有系统仍是通 过Windows Server部署运维在服务器上，统计显示Windows Server在x86伺服器中的市占率高达6成。 CCE推出基于Kubernetes的Windows Server容器管理服务 • 完美兼容Kubernetes能力

Alibaba Cloud OSS Alluxio 服务器 Alluxio 服务器 大数据查询 大数据ETL 模型训练 Alluxio核心功能一：分布式数据缓存 Alluxio 服务器 A B /path1/file1 /path2/file2 C A B C A Alluxio 服务器 Alluxio 服务器 大数据查询 大数据ETL 模型训练 Alluxio核心功能二：灵活多样的数据访问API Alluxio核心功能二：灵活多样的数据访问API Alluxio 服务器 HDFS接口客户端 POSIX接口客户端 Alluxio 服务器 Alluxio 服务器 大数据查询 大数据ETL 模型训练 Alluxio核心功能三：统一的文件系统抽象 Alluxio 服务器 Alluxio在云端AI训练场景的性能好处 • 支持大规模的数据缓存 • 本地内存加速 • 支持数据预热 • LRU缓存管理 Pod Pod MXNet MXNet Pod Pod Caffe Caffe oss 阿里云 对象存储 statefulset daemonset 一键式部署Alluxio，中心化配置集群参数 $ cat << EOF > config.yaml properties: fs.oss.accessKeyId: xxx fs.oss.accessKeySecret: yyy

涉及的模块：全局管理、容器管理、应用工作台、云原生网络、云原生存储、镜像仓 库 版权 © 2023 DaoCloud 第 7 页 信创异构 采用信创云原生技术架构，兼容国产芯片及服务器，支持信创操作系统及信创应用生 态体系，屏蔽底层异构基础设施的复杂性，把传统操作系统从需要长期积累的软件生 态兼容适配中解放出来，实现混合异构集群的灵活调度，保证信创应用运行环境的稳 定高可靠，助力信创进程进一步提速。 生存储、云边协同 版权 © 2023 DaoCloud 第 8 页 云原生底座 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 建、管理、删除用户/用户组，并灵活配置用户/用户组权限，来完成用户职能权限的 划分。 ➢ 企业空间：具有层级结构和访问权限控制的资源隔离单元。您可以按照企业开发环 境、部门结构等设置层级结构，并控制哪些人对哪些资源具有访问权限。 ➢ 审计日志：提供资源的操作记录。通过操作记录您可以快速实现安全分析、资源变 更、问题定位等。 ➢ 平台设置：通过平台安全策略、邮件服务器、外观定制等，实现用户信息的安全性和

Alibaba Cloud Serverless Kubernetes 2018.5 Y Serverless Kubernetes容器服务 - 按照应用使用资源付费 - 无需管理服务器节点 容器调度与编排 经典Kubernetes容器服务 - 按照集群节点数量付费 ECS Pod Pod Pod Pod ECS Pod Pod Pod Pod 无限弹性，敏捷扩容 • 支持pod之间互联互通 无需管理服务器 Without managing servers 用户只需关注容器应用 • Zero server ops • Focus on application • 容量规划：节点数量选择和扩容 • 规格实例选择、配置安全组 • 配置复杂的管理工具 • 配置网络 • 操作系统选择 • 系统软件升级、安全补丁更新 Asynchronous Event Driven Stateless High dynamic Short Duration 14 - 一键部署Spark集群 - 无需管理服务器节点 - 灵活弹性，无限扩容 容器调度与编排 Spark-Master Serverless Kubernetes集群 Demo: 基于Serverless Kubernetes的Spark数据处理

创建⽆状态应⽤nginx �. 配置容器 �. ⾼级配置 �. 创建成功 案例--如何创建⼀个WordPress ⽅法⼀：nodePort + Haproxy 外⽹访问 WordPress 配置⽅法 �. 创建 StorageClass、Namespace 和 pvc 资源 �. 部署MySQL容器组 �. 部署WordPress容器组 �. 配置 Haproxy 负载均衡 �. 访问 WordPress ⽅法⼆：Ingress 外⽹访问 WordPress 配置⽅法 �. 创建 Namespace 和 PVC 资源 �. 部署MySQL容器组 �. 部署WordPress容器组 �. 创建 Service �. 创建 Ingress �. Haproxy 策略配置上述 Ingress 与服务映射的 �� 端⼝ �. 访问 Wordpress 容器服务 Kubernetes 进⼊集群⻚⾯ -> 右上⻆点击创建集群 设置集群名称 -> 选择虚拟数据中⼼ -> 选择集群私⽹ip⽹段 -> 选择计费⽅式-> 设置master节点 - > 设置worker节点 -> 选择HA配置 -> 选择集群公⽹ip -> 设置集群ssh登录密码 -> 确认⽆误后点击 确认 2.使⽤须知 集群管理 1.简介 2.使⽤须知 3.操作说明 4 5 进⼊集群⻚⾯ -> 查看创建的集群，状态为正常代表创建成功

User Dev/Ops 13 2017 Lenovo Internal. All rights reserved. 容器云设计—部署和回滚 • 部署流程 or 回滚流程 console • 配置请求 • 部署请求 builder • 准备构建环境 • 生成Dockerfile • Build镜像 • Push镜像 kubernetes • 部署服务 1 3 4 Docker reserved. 容器云设计-- 企业权限设计 • 功能权限：允许或拒绝用户使用系统提供的某个功能 用户 user01 user02 角色 Admin OPS User 功能/资源 修改系统配置 增加服务模板 创建服务 * * * * 17 2017 Lenovo Internal. All rights reserved. 容器云设计-- 企业权限设计 • 业务权限/数据权 Internal. All rights reserved. 让一切自动化--工欲善其事，必先利其器 • 从设计开始之初就把自动化理念融入进来 • 充分利用Docker的优势，加速平台的迭代 • 配置即代码 环境安装 配置管理 部署上线 集群安装运维自动化 组件安装运维自动化 服务部署上线自动化 19 2017 Lenovo Internal. All rights reserved. 监控与日志