七牛容器云Service Mesh实践 冯玮 七牛容器云架构师 2018.11.25 Service Mesh Meetup #4 上海站Ingress Controller • 流量管理 • 安全管理 • 统一配置 • 反向代理Contour • 本质上还是Ingress Controller • Kubernetes深度整合 • Gimbal生态组件Contour特点 • 基于Envoy 南北流量产品化 • TLS管理优化 • Contour增强 • 入口流量管控 • 跨集群调度 • 发展策略 • API版本兼容两种方式 • 数据面优先，控制面按需迭代七牛容器云Service Mesh发展 • 产品发展 • 依托容器云PaaS中台 • 辐射业务线：Spock，Kodo，Dora等 • 先内部普及踩坑，后私有云能力产品化 • 使用规模 • 80%以上产品线部署Contour & Istio 定位难 • 解决方案 • Istio南北流量分流策略产品化 • 基于Istio的QoS产品化 • 基于Istio的Tracing产品化 • 跨集群流量调度七牛容器云产品逻辑架构 Kubernetes + Docker + 生态链七牛容器云产品未来发展 • 更多功能 • 故障熔断 • 故障注入 • 业务配置动态分发 • 优化升级 • 性能优化： • DPDK + eBPF • 系统优化

李斌 阿里云容器服务 全民双十一 基于容器服务的大促备战 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT我是谁挑战在哪里？ 极限并发 人为失误 系统瓶颈 雪崩 单点失效 成本控制 用户体验 最终一致性 稳定性 资源不足 资源利用率 安全风险备战工具箱 服务化 开发运维一体化 弹性 极致性能 高可用 全站上云 安全加固 人工智能 大数据 http://integracon.com/11-leading-causes-downtime/ 45%最佳实践之容器化DevOps 杭州 容器集群 集群 伦敦 Serverless集群 自动安全扫描 镜像签名 全球自动分发 智能构建 上海 边缘集群 ECS ECI 应用定义 ACR 镜像服务 镜像快照两个数字背后的故事 19分23秒 36%观测与预测全链路监控+高性能如何应对 … 流量增长 延时降低75% 混合云2.0架构 交付效率提升3倍 全链路安全架构 实时风险监测、告警、阻断 极速弹性 分钟级1000节点伸缩 异构算力 利用率提升5倍 沙箱容器 强隔离，90%原生性能 容器云应用市场 合作伙伴计划 阿里云容器服务Thank you ! 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT

微服务结合容器云平台的思考和实践 2018.06.25 徐运元关于我 2008年毕业于浙江大学，曾在思科和浙大网新有超过 9年的工作经验和5年的云计算领域工作经验，带领团 队完成公司第一代基于Kubernetes的云平台开发和第 二代基于Kubernetes的DevOps云平台开发 来自于浙江大学SEL实验室目录 CONTENTS Kubernetes平台下的微服务演进 Pilot核心功能解读 流量管理 • 服务降级 • … • 微服务拆分原则 • 业务API设计 • 数据一致性保证 • 可扩展性考虑 • …Kubernetes对于微服务的支撑 功能列表 详情 快速资源分配 容器编排和调度 服务部署&弹性伸缩 Deployment 服务注册&服务发现 Service概念和分布式DNS API网关 简单路由功能 统一日志中心 Fluentd & ES 统一监控中心 Prometheus 面，是个单独 的二进制。 pilot-agent跟envoy打包在同一个docker镜 像里，镜像由Dockerfile.proxy定义， Makefile（include了tools/istio- docker.mk）把这个dockerfile build成了 ${HUB}/proxy:${TAG}镜像，也就是 Kubernetes里跟应用放在同一个pod下的 sidecar。非Kubernetes情况下需要把

1.12中Part 3：ServiceMesh灵魂拷问三：要不要支持虚拟机？ 有了高大上的容器/k8s/云原生， 还要不要支持土里土气的 虚拟机？Part 3：ServiceMesh灵魂拷问三：要不要支持虚拟机？ Google Traffic Director 支持虚拟机，而且可以 虚拟机和容器相互访问 Linkerd 1.* 天然支持 Envoy 天然支持 Istio 开始准备支持，后 开始准备支持，后 来实质性取消，基 本只有k8s好用 Linkerd 2.0 只支持k8s AWS app mesh 支持虚拟机，而且 可以虚拟机和容器 相互访问 ServiceMesh主流产品对虚拟机的支持情况Part 3：ServiceMesh灵魂拷问三：要不要支持虚拟机？ Linkerd 1.* Envoy App Mesh Traffic Director Istio Linkerd 3：ServiceMesh灵魂拷问三：要不要支持虚拟机？ Linkerd 1.* Envoy Istio Linkerd 2.* 支持 不支持 第一个转折容易理解：相比虚拟机，k8s提供了太多便利 • 容器 • kubernetes • 云原生Part 3：ServiceMesh灵魂拷问三：要不要支持虚拟机？ Linkerd 1.* Envoy AWS App Mesh Google Traffic

支持蚂蚁LDC架构，三地五中心容灾架构 • 全面上线SSL加速卡，提供软硬件一体加速方案 2015 • All in 无线，通信通道全面升级（MMTP，MTLS协议） 2016 • 安全防护能力提升，WAF，流量镜像 2018至 今 • 通信协议，架构，安全再次升级（物联终端接入，QUIC协议，国密，可信计算， 海外加速，云原生）金融级三地五中心容灾架构（LDC） 单机房 LDC 同城双活 LDC 多终端&协议接入 架构升级 云原生生态融合 § MQTT协议的IOT设备接入 § 就近就优海外接入，智能调度 § 蚂蚁全球加速节点，全协议支持 § 支持UDPA § QUIC/HTTP3 § 接入层容器化，混部 § 支持QUIC协议的LB建设 § Web Assembly模块扩展东西流量的服务发现与路由 F5（ipvs） APP APP APP APP 配置中心 APP APP APP SOFAMosn Sigma TLS，国密 服务鉴权 流量控制 镜像中心 流量镜像 流量镜像 TLS，国密 服务鉴权 流量控制 TLS，国密 服务鉴权 流量控制蚂蚁金服率先大规模落地SOFAMesh UDPA 安全 统一数据 平面API 存量连接无损迁移 提升5倍发布效率 TLS双向加密 支持国密算法 WAF 流量镜像 多协议 SOFARPC Dubbo HTTP1.1/2 平滑升级

程 两地三中心架构 跨机房和地域统一应用运维 容器运行时 （Docker/Pouch/安全容器） CNI Plugins (VLAN/VXLAN/VPC Router/ENI) CSI Plugins (NAS/OSS/Cloud Disk/Ceph) 网络接入 (SLB/ALB) 容 器 层 跨集群管理 单元化能力 容器镜像管理 批次发布 原生资源管理 Pod伸缩管理 集群伸缩管理 数据层流量调拨 压测/灰度 流量管理 单元化 元数据管理 弹性流量管理 跨集群发布策略 多集群管理 跨集群网络 跨集群镜像管理 蓝绿发布 灰度分组发布 中间件变配 （DRM/Scheduler/Message） Mesh流调拨和治理 弹性建站/下站 容器腾挪/迁移 容灾切换和恢复 应急预案管理 … 分钟级容灾切换和恢复 全面变更风险管理 无限弹性可扩展 业务架构 产品层 云原生 添加finalizer 发布完成 16/2017/20 安全风险保障 • 审计追踪； • 用户安全 – 基于 RBAC 体系和 PaaS 账号体系打通； • 租户安全 – 租户隔离|环境隔离|集群隔离； • 容器运行时 - 配额|隔离控制（磁盘，CPUSET）； 发布运维体系18/20 技术风险保障 业务变更三板斧 发布运维体系 Replica/Partition Allocator Pod A-1

多次作为邀请讲师参加Dockone容器技术大会，Segmentfault 开发者大会，InfoQ全球架构师峰会（明星讲师），CSDN SDCC大 会，51CTO WOTA大会等 • 知名技术博主，博客可搜索popsuper1982，多篇文章推荐至全 球最大IT社区CSDN首页及《程序员》杂志 • 在工作中积累了大量运营商系统，互联网金融系统，电商系统等 容器化和微服务化经验01 目录 02 s 网易云微服务框架介绍 基于容器服务的微服务架构实践163yun.com 一、微服务与Docker、Kubernetes163yun.com 应用架构 数据架构 IT架构 微服务的交付形式Kubernetes 轻量级的IT运维模式Swarm 资源利用率高的任务执行模式Mesos 快速迭代 高并发 OPEX CAPEX 大数据分析，运营 容器技术的三种视角微服务形态 Hailo 163yun.com Service Mesh优缺点163yun.com 二、网易云微服务框架介绍163yun.com 设计思路 • 发现容易搞定，治理难搞定 • 发现不易替换，治理易替换 • 解耦容器平台与微服务 • 解耦服务发现与服务治理163yun.com 设计思路 Agent热加载 兼容SpringCloud，Dubbo框架 控制面租户隔离 适配VPC网络 同IaaS或者Kubernetes解耦

中间件，用来修改请求或 者根据请求来做出一些判断（ authentication, rate limiting, headers, ...）Providers • Providers 可以是编排工具、容器 引擎或者 key-value 存储等等 • Traefik 通过 Providers 的 API 查 找有关路由相关信息，并动态更新 • 基于标签、key-value、注解、文 件 • 负载均衡（针对应用实例）：轮询（ 目前支持）、session 亲和性 • 带权重的轮询：仅可用于在 Service 之间，并且目前只支持 File Provider • Mirror：将发送到服务的请求镜像复 制到其他服务去，目前只支持 File ProviderMiddlewares配置 • 静态配置：Traefik 启动时的 配置，Provider 连接信息、要 监听的 EntryPoints，通过配置

review ，批准合并之后，feature/new_branch 会合并到 develop； • 8. Merge 触发 Jenkins/Drone 自动构建； • 9. 构建成功就执行你定义的工作流：打包镜像，触发 deploy 以及其他后续的 Automation Testing 等流程； • 10 . Drone 通知工作流程情况给开发/或者交付 QA 测试；如何提升工程效率？我是作者名称2017 DevOps 是一种文化：一切自动化，工具化，规范化；选择哪个 CI/CD 工具？Docker stats 查看 Docker 服务所占用的CPU和内存开销DroneDrone • 一款使用 Go 开发，基于容器技术的 CI/CD 系统，能够单独部署，支持几乎所有的 Git 平台（Github,Gitlab,Bitbucket,Gogs,Gitea 等）。 • 它的特点： • 一个 .drone.yml

方案落地-拷问 现有框架升级 容器如何替换 MOSN 如何升级 需要业务改代码吗 能回滚吗？ 没资源给你做 buffer 能不能快一点 升级过程不要影响我业务 其他你随便 1问 2问 3问App 容器 14 方案落地-框架升级前 应用代码 SOFABoot SOFABoot/SOFARPC API JVM SOFABoot 研发框架App 容器 15 方案落地-框架升级后 SOFABoot/SOFARPC API SOFABoot_New JVM RPC 检测 pod 变量，注 入启动参数 判断开启了 MOSN 发布和订阅服务 直接调用，关闭寻 址功能 其他16 方案落地-容器替换 Pod Pod Old Pod New With MOSN Pod New With MOSN 扩容 缩容 资源 Buffer Pod APP：4C8G Pod APP：4C8G MOSN V1 APP MOSN V2 APP 关闭 Pod 升级容器 容器快速接入了，但是 MOSN 有问题 / Feature 如何升级？ 正常运行中18 方案落地-升级策略-无感升级 MOSN V1 APP MOSN V1 APP MOSN V2 APP MOSN V2 新增新容器 销毁老容器 流量无损 正常运行中19 我们的方案-升级策略-无感升级-MOSN