Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 1 / 7 Nocalhost - 重新定义云原⽣开发环境 前⾔ 随着业务的快速发展，技术部⻔的组织架构在横向及纵向不断扩⼤和调整，与此同时，企业的⽣产资料：应 ⽤系统，也变得越来越庞⼤。为了让应⽤系统适配企业组织架构的调整，梳理组织架构对于应⽤权责的边 界，⼤部分组织会选择使⽤“微服务”架构来对应⽤系统进⾏横向拆分，使得应⽤系统的维护边界适配组织架 越来越复杂，问题在想要新增需求时尤为突出。 “微服务”带来便利的同时，对开发⼈员⽽⾔，还带来了额外的挑战：如何快速启动完整的开发环境？开发的 需求依赖于其他同事怎么联调？如何快速调试这些微服务？ ⽽对于管理⼈员来说，也同样带来了⼀系列的挑战：如何管理开发⼈员的开发环境？如何让新⼊职的同事快 速进⾏开发？ 试想⼀下，要开发由 200 个“微服务”组成的云原⽣应⽤，会遇到哪些困难呢？ Localhost 应⽤所需要的本地资源越来越多，最终导致本地⽆ 法满⾜开发的配置需求。 云原⽣解放了部署和运维，开发呢？ Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 2 / 7 云原⽣和 Kubernetes 的普及，进⼀步屏蔽了“微服务”应⽤的复杂度，这主要体现在部署和运维阶段。 为了解决微服务应⽤在开发、测试和⽣产阶段环境⼀致性的问题，现代的微服务应⽤开发，都会将每⼀个组 件打包成

敏感信息泄露攻击................................................................................22 2.2.5 针对镜像不安全配置的攻击................................................................ 22 2.3 路径 2：容器攻击.............. 攻击...................................................................................... 28 2.4.4 集群环境下的横向攻击........................................................................29 2.4.5k8s 管理平台攻击.. ................................................................ 49 云原生安全威胁分析与能力建设白皮书 4 4.1.3 制品环境安全........................................................................................50 4.1.4

对比发布 • API文档：每一个API有 一个活档，指导集成。 形成市场，能力 互补 全生命周期API管理-2-Azure API Management 配置Http Header， 比如CORS等 配置入站协议转 换等 配置后端治理策略 等，比如限流规则 定义API或者导入 API 全生命周期API管理-3-Azure API Management • 把自己关在小黑 屋里面，自己就 Cortex ....... 传统交付方式的不足之处 手册文档 配置参数 应用 应用 配置参数 应用 应用 软件环境 硬件环境 遗留系统 安装配置点 安装配置点 安装配置点 集成点 集成点 集成点 1. 交付人员学习手册文档，需要在客户 环境做“安装配置”和“与遗留系统集成” 两方面工作。 2. 安装配置：在硬件上安装软件，不乏 针对硬件特性的适配、还需要安装OS 等，最后还要在OS上安装应用，并且 等，最后还要在OS上安装应用，并且 还要保证应用软件依赖拓扑结构不会 出错。 3. 集成点：包括新环境的硬件、软件和 应用与遗留系统的集成，比如，监控、 服务注册中心、文件传输、消息集成、 ITSM等系统的部署集成。 4. 由于上层所依赖的底层环境在不同交 付环境中是不同的，而传统交付方式 缺乏脚本能“理解”的方式来表达这些 差异，此外由于事后更新OS、三方库 或者系统，这些变更又缺乏校验关系， 升级时很难给予企业信心，这种交付

应用类型丰富  应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构，在开发、测试、运维 团队之间建成了认知的“墙”，团队间配合效 率低，故障排查慢，阻碍了软件价值的流动 /收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 /收缩所用 资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 工作量 成本 新一代架构（微服务）应用的对承载平台提出新要求

作为总体集成方，会降低安全集成成本 可信计算环境：OS安全、TPM加密、TEE可信环境 云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的，环境变化也是碎片化的 ，而且其业务类型越来越多，比如已经延展到边 缘计算盒子，此时攻击面被放大，在云原生环境下安全是一个核心价值，需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力，导致传统安全实施方法、角色、流程、技术 都发生了很多变化，适应这些变化是落地云原生安全的关键！ 标准化能力-承载无忧-E2E云原生纵深安全保障-2-商业价值 腾讯安全战略研究部联合腾讯安全联合实 差 异 安全问题左移一个研发阶段，修复成本就将 提升十倍，所以将安全自动化检查和问题发 现从运行态左移到研发态，将大大提高效率 和降低成本 默认安全策略，可以天然的规避大部分 安全问题，使得人员配置和沟通工作大 量减少，提高了整体效率! 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环

引擎的接口读取到，也可以直接读取 cAdvisor 的接口，Kubelet 里 内置了cAdvisor，cAdvisor 不管是 docker 还是 containerd 都可以采集到，推荐 { 抓取方案一 } • 左侧这个配置大家在网上比较容易搜到，通过kubernetes_sd_configs做服务发现，查找所有node，通过 Kubernetes apiserver 的 proxy 接口，抓取各个node（即kubelet）的 label 数据。node 上的 label 数据最核心的就是 标识了 node 的 IP • 我们可以通过环境变量为抓取器注入NODEIP，比如用 Categraf 的话，就会自动把本机 IP 作为标签带上去，设置 config.toml 中的 hostname=“$ip” 即可 完整配置可以参考： https://github.com/flashcatcloud/categraf/blo b/main/k8s/daemonset container,ident,image) 内存使用量除以内存限制量，就是使用率，但 是后面跟了 and container_spec_memory_limit_bytes != 0 是因为有些容器没有配置 limit 的内存大小 container_memory_usage_bytes / container_spec_memory_limit_bytes and container_spec_memory_limit_bytes

Tracing Prometheus 全链路压测 PTS AHAS ARMS ACK/ASK 调度+弹性 解法 • 提供完整微服务产品矩阵 • 通过 MSE 解决微服务最 核心服务发现和配置管理， 通过服务治理提升高可用 • 通过 ACK 解决运维成本 • 通过 ARMS 解决定位成本 • 通过 AHAS 解决技术风险 • 通过 PTS 解决容量风险 优势 • 开源、自研、商业化三位 a/Envoy 服务框架+服务⽹格 用户容器 用户容器 最佳实践 • 微服务最佳实践 • 服务治理最佳实践 • 日常环境隔离最佳实践 • 网关最佳实践 微服务最佳实践 MSE微服务引擎 Nacos/Zookeeper/Eureka 注册中⼼+配置中⼼ Dubbo/Spring-Cloud-Alibaba/Envoy 服务框架+服务⽹格 Ingress（Envoy） 云原⽣⽹关 • 开发环境隔离 • 服务压测 • 自动化回归 • 流量录制 • 流量回放 • 无损上下线 • 服务预热 • 金丝雀发布 • A/B Test • 全链路灰度 • 服务鉴权 • 漏洞防护 • 配置鉴权 • 离群实例摘除 • 限流降级 • 同AZ优先路由 • 就近容灾路由 • 服务巡检 • 标签路由 • 服务超时和重试 基础治理能力 高阶治理能力 日常环境隔离最佳实践

anslate_wan_addrs配置选项结合使用时，也可以在客户端代理上设置此选项。默认情况下，-adverti e通告地址。但是，在某些情况下，所有数据中心的所有成员都不能位于同一物理或虚拟网络上，尤 是混合云和私有数据中心的混合设置。此标志使服务器节点通过公共网络为WAN进行闲聊，同时使 专用VLAN互相闲聊及其客户端代理，并且如果远程数据中心是远程数据中心，则允许从远程数据中 访问此地址时访问客户端代理。配置了tra go-sockaddr模板。 ● -config-file：要加载的配置文件。有关此文件格式的更多信息，请阅读“ 配置文件”部分。可以 次指定此选项以加载多个配置文件。如果多次指定，则稍后加载的配置文件将与先前加载的配置文件 并。在配置合并期间，单值键（string，int，bool）将简单地替换它们的值，而列表类型将被附加在 起。 ● -config-dir：要加载的配置文件的目录。Consul将使用后缀“.json”或“ 文件。加载顺序是按字母顺序排列的，并且使用与上述config-file选项相同的合并例程 。可以多次指 此选项以加载多个目录。未加载config目录的子目录。有关配置文件格式的详细信息，请参阅“ 配置 件”部分。 ● config-format：要加载的配置文件的格式。通常，Consul会从“.json”或“.hcl”扩展名中检测 置文件的格式。将此选项设置为“json”或“hcl”会强制Consul解释具有或不具有扩展名的任何文

SaaS交付+定制交付 SaaS交付 客 单 价 越 ⾼ 交 付 效 率 越 ⾼ 交付环境 公有云 私有云 物理机 离线环境 运维模式 客户⾃管 驻场⽀持 远程⽀持 托管运维 交 付 难 度 越 ⾼ 商 业 价 值 越 ⼤ 2B软件交付的愿景 01. 2B 软件交付的困局 像安装⼿机APP⼀样； 在任意环境之上； 实现快速、灵活地交付； 和智能的运维能⼒。 云原⽣与云原⽣应⽤ 云原⽣应⽤定义 02. 云原⽣与云原⽣应⽤ ⾯向交付的 “三级” 云原⽣应⽤定义 L1: 基础云原⽣应⽤ （1）容器化运⾏ （2）计算与数据分离 （3）满⾜12 因素 （4）可伸缩性 （5）可配置性 （6）基础可观测性 L2: 具备远程交付能⼒ （1）完全的模版化定义 （2）模版⾃动实例化 （3）数据⾃动初始化 （4）业务⾼容错性 （5）业务⾼可⽤性 L3: 具备持续升级能⼒ （1）组件库获取通⽤能⼒ 多业务系统 隔离开发 （2）发布业务应⽤模型 （提交测试） 版本管理 ⽅案组装 组件共享 （3）获取测试的业务模版版本 测试环境管理 业务级测试 应⽤云原⽣性测试 交付能⼒测试 （4）标记可交付版本 （5）演示环境交付 （6）客户环境持续交付 完整业务架构 A⽤户定制⽅案 B⽤户定制⽅案 研发平台 交付平台 测试平台 应⽤模型定义实践-开发者 04. 2B交付版本的DevOps

不不同⻆角⾊色节点上运⾏行行什什么服务，有什什么要留留意的地⽅方，脚本怎么运⾏行行的，都做
 了了什什么，安装流程是什什么样的等等安装原理理 以及 安装完成后，服务是怎么运⾏行行起来的，以什什么样的⽅方式，配置怎么修改能⽣生效
 健康检测的机制是什什么样的，失败了了会怎么样等等运维问题 RAINBOND 线上培训（第九期） 2019/8/8 1. RAINBOND安装与运维原理理解读 1.1 2019/8/8 1. 同⼀一个节点可以复⽤用哪些属性 2. 服务组件依赖关系 3. rbd-dns 组件使⽤用技巧之下游dns服务器器设置 4. rbd-dns 组件使⽤用技巧之⽆无⽹网环境下解析域名 5. 组件配置如何⽣生效 6. 快速获悉组件⽣生效参数 1. RAINBOND安装与运维原理理解读 RAINBOND 线上培训（第九期） 2019/8/8 先来带领⼤家仔细熟悉⽂档 组件使⽤用技巧之下游dns服务器器设置： rbd-dns 配置 —nameservers 4. rbd-dns 组件使⽤用技巧之⽆无⽹网环境下解析域名： 客户端可以直接指定rbd-dns为解析服务器器 1. RAINBOND安装与运维原理理解读 问题的答案： RAINBOND 线上培训（第九期） 2019/8/8 5. 组件配置如何⽣生效： 修改 /opt/rainbond/conf/*