顾静, 阿里云 邓隽, 阿里云 Kubernetes 异常配置检测框架 我们来自阿里云容器服务 • 顾静，研发工程师 • 邓隽，技术专家 我们参与打造 • 容器服务（ACK/ASK） • 容器镜像服务（ACR） • 服务网格（ASM） • … 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 Kubernetes 使用日常 • 应用部署 • API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测 kube-hunter 适用于集群安全检测 仅能检测集群安全性 kubectl-trace

12-Master与Node的通信 13-Node 14-Pod 15-Replica Set 16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 上，并结合了社区中最佳的创意和实践。 为什么使⽤容器 寻找你为啥要使⽤容器 的原因？ 01-什么是Kubernetes 4 部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟 持在Kubernetes上运⾏CI⼯作流，⽽不强制⼯作流如何⼯作。 允许⽤户选择其⽇志记录、监视和警报系统。（它提供了⼀些集成。） 不提供/授权⼀个全⾯的应⽤配置语⾔/系统（例如 jsonnet ）。 不提供/不采⽤任何综合的机器配置、维护、管理或⾃愈系统。 另⼀⽅⾯，⼀些PaaS系统可运⾏在 Kubernetes上，例如 Openshift 、 Deis 、Eldarion 等。 您也可实现⾃⼰的定制

Spring 91. Mockery 92. Netflix DGS 93. OpenTelemetry 94. Polars 95. Pushpin 96. Snowpark 评估 97. 基准配置文件 98. GGML 99. GPTCache 100. 语法性别 API 101. htmx 102. Kotlin Kover 103. LangChain 104. LlamaIndex 105 攻击路径分析 试验 攻击路径分析是一种分析和评估潜在攻击路径的安全分析方式，黑客可能按照这些来自组织内系统网络的潜在 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域，例如错误的配置，脆弱的容器， 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 都提供了相应的支持程序，可以用来创建和配置这些服务，例如 Splunk、 Datadog、PagerDuty 和 New Relic。因此，我们建议团队除了云资源外，还应使用 Terraform 创建监控和告 警。这将实现更模块化的 IaC，更易于理解和维护。与所有 IaC 一样，同时使用多种方式进行配置变更，会带来 不一致的风险。所以，我们建议禁用通过用户界面和 API 的方式处理配置变更，确保 Terraform

Kubernetes ，提供⾼高可⽤用，在线升 级，⾃自动扩缩，负载均衡，⽇日志查看，资 源监控，等多种功能。 KUN 运维管理理 监控 ⽇日志 权限 分析 集群管理理 版本管理理 配置管理理 链路路跟踪 负载均衡 ⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 API- Gateway 镜像仓库 Gateway，作为集群外部访问Service的⽹网关 Kube-proxy负责将发往 Service IP 的流量量转 发到对应的Pod。启动时将 kube-proxy的 masquerade-all 选项打开，这样 kube- proxy 转发给Pod的包会实现源地址转换 （SNAT） Service Gateway包括 bgpd 和 kube-proxy两部分。 Node Pod Pod 定义资源的管理理操作。 ⽤用户不不需要详细理理解具体的 CRD 结构，就可以在 Web ⻚页⾯面上快速 创建⼀一个 Redis 集群，并且可以看到集群⼀一步步创建的过程。同时 还可以对集群进⾏行行配置更更新、删除等操作。 Operator Server Think in Cloud . 北北京 Operator管理理⽆无状态的服务 特性 A. ⽆无状态⽔水平弹缩： ⽀支持动态扩缩容

①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群的dns服务器或写入/etc/hosts文件 里。如： 主机名 ip地址 k8s-master1.cof-lee .conf文件及系统对外通信网口上配置有 默认路由；根据实际情况添加 # cat >> /etc/resolv.conf <配置selinux，则可关闭SELinux，若对安全性要求较高，则需自行配置 x，若对安全性要求较高，则需自行配置 # sed -i '/^SELINUX/s/enforcing/disabled/' /etc/selinux/config # setenforce 0 #关闭selinux ④ulimit设置 # cat >> vi /etc/security/limits.conf <

0 码力 | 126 页 | 4.33 MB | 1 年前

3

月，国务院发布《扩大内需战略规划纲要（2022-2035 年），提出 云计算白皮书（2023 年） 10 要加快建设信息基础设施，推动云计算广泛、深度应用，促进“云、 网、端”资源要素相互融合、智能配置。2023 年 1 月，工业和信息 化部等六部门出台《关于推动能源电子产业发展的指导意见》，明确 指出要加快云计算技术推广应用。2023 年 4 月，工业和信息化部等 八部门发布《关于推进 IPv6 管理没有跟上企业信息系统的变革，另一方面是因为缺乏资产可见性、 安全配置不当和缺乏运营机制等原因，使得安全防护体系失效、出现 问题难定位。因此，云上安全不仅是技术体系的建设，还需要精细化、 原生化的安全治理。首先，需要企业从战略顶层设计、组织文化上接 受云原生安全理念，变革组织管理和人才培养体系，提倡责任共担和 安全内嵌。其次，正确的安全配置是安全防护的前提，持续的安全运 营才能充分发挥安全效能。 用水平参差 不齐，应用深度呈现阶梯状分布。 第一梯队行业上云用云处于成熟期，已从全面上云过渡到深度 用云，如政务、金融、电信等行业。上云已经成为各地政府、金融 机构和电信运营商数字化转型的必选项。整体来看，我国第一梯队 行业云计算应用发展态势呈现出以下三个特点：一是推进信息技术 生态兼容，搭建云计算可信生态。安全是政务、金融、电信行业云 云计算白皮书（2023 年） 23 平台建

创建⽆状态应⽤nginx �. 配置容器 �. ⾼级配置 �. 创建成功 案例--如何创建⼀个WordPress ⽅法⼀：nodePort + Haproxy 外⽹访问 WordPress 配置⽅法 �. 创建 StorageClass、Namespace 和 pvc 资源 �. 部署MySQL容器组 �. 部署WordPress容器组 �. 配置 Haproxy 负载均衡 �. 访问 WordPress ⽅法⼆：Ingress 外⽹访问 WordPress 配置⽅法 �. 创建 Namespace 和 PVC 资源 �. 部署MySQL容器组 �. 部署WordPress容器组 �. 创建 Service �. 创建 Ingress �. Haproxy 策略配置上述 Ingress 与服务映射的 �� 端⼝ �. 访问 Wordpress 容器服务 Kubernetes 进⼊集群⻚⾯ -> 右上⻆点击创建集群 设置集群名称 -> 选择虚拟数据中⼼ -> 选择集群私⽹ip⽹段 -> 选择计费⽅式-> 设置master节点 - > 设置worker节点 -> 选择HA配置 -> 选择集群公⽹ip -> 设置集群ssh登录密码 -> 确认⽆误后点击 确认 2.使⽤须知 集群管理 1.简介 2.使⽤须知 3.操作说明 4 5 进⼊集群⻚⾯ -> 查看创建的集群，状态为正常代表创建成功

日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 标准统一 运维简单 框架简单 编译 部署 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 编译 部署 2014年6月K8S开源 微服务的生命周期 第二部分 微服务的生命周期 开发 测试 部署 启动 调用 治理 微服务的开发阶段 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 统一配置、调用用方式，降低开发心智负担 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 问题：每种开源组件的配置、调用方式、debug方式、记录日志方式都不一样 微服务的开发阶段 问题：gRPC未设置连接错误，阻塞模式报错不正确 Redis、MySQL连接数配置未设置？超时未设置？ 配置 对接 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 // FailOnNonTempDialError only affects the initial dial, and does not do // anything useful unless you are also using WithBlock()

生存储、云边协同 版权 © 2023 DaoCloud 第 8 页 云原生底座 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 全局管理是以用户为中心的综合性服务板块，包含用户与访问控制、企业空 间、审计日志、平台设置等基础服务模块。 ➢ 用户与访问控制：帮助用户安全管理资源的访问权限。您可以通过用户与访问控制创 建、管理、删除用户/用户组，并灵活配置用户/用户组权限，来完成用户职能权限的 划分。 ➢ 企业空间：具有层级结构和访问权限控制的资源隔离单元。您可以按照企业开发环 境、部门结构等设置层级结构，并控制哪些人对哪些资源具有访问权限。 ➢ 侵入式链路采集，支持查询服务的实时 RPS、错误率、时延等关键指标 ➢ 提供开源的聚合链路查询 ➢ 提供开箱即用的告警规则 ➢ 支持自定义指标、日志等告警 ➢ 支持灵活的配置告警级别、阈值、通知对象等 ➢ 提供邮箱、企业微信、钉钉、Webhook 等多种通知方式 ➢ 持久化存储指标、日志、链路数据 应用工作台 应用工作台是基于容器的 DevOps 云原生应用平台，提供了

A. 准备主机/虚拟机 安装 k8s 集群需要至少 4 台主机/虚拟机，下面是参考配置： 1 台作为 k8s master CPU：2 核, 内存：8GB, 系统盘：40GB, docker 数据盘：80GB 3 台作为 k8s node CPU：2 核, 内存：16GB, 系统盘：40GB, docker 数据盘：40GB, ceph 数据盘：1TB *下面是 vSphere 上创建虚拟机的步骤： A1. 创建 k8s-master CPU：2 核, 内存：8GB，系统盘：40GB，docker 数据盘：80GB step1. 从模板上新建虚拟机 Step2. 配置虚拟机网络 打开虚拟机的控制台： 设置主机名： hostnamectl set-hostname k8s-master 设置网络： cd /etc/sysconfig/network-scripts 数据盘：40GB，ceph 数据盘：200GB 【注】所有节点(k8s-master, k8s-node1, k8s-node2, k8s-node3)均需做以下 B~D： B. 升级&配置 centos7 Step1. 升级 linux 内核 uname –r wget https://cbs.centos.org/kojifiles/packages/kernel/4.9