微服务结合容器云平台的思考和实践 2018.06.25 徐运元关于我 2008年毕业于浙江大学，曾在思科和浙大网新有超过 9年的工作经验和5年的云计算领域工作经验，带领团 队完成公司第一代基于Kubernetes的云平台开发和第 二代基于Kubernetes的DevOps云平台开发 来自于浙江大学SEL实验室目录 CONTENTS Kubernetes平台下的微服务演进 Pilot核心功能解读 易于访问的外围（负载均衡） • 服务注册和发现 致富问题 • 认证和授权 • 智能路由 • 流量管理 • 服务降级 • … • 微服务拆分原则 • 业务API设计 • 数据一致性保证 • 可扩展性考虑 • …Kubernetes对于微服务的支撑 功能列表 详情 快速资源分配 容器编排和调度 服务部署&弹性伸缩 Deployment 服务注册&服务发现 Service概念和分布式DNS API网关 终端用户认证Istio的核心组件 • Envoy 是一个高性能轻量级代理，它掌控了service的入口流量和出口流量，它提供了很多内置功能，如动态负 载服务发现、负载均衡、TLS终止、HTTP/2 & gRPC流量代理、熔断、健康检查等功能。 • Mixer 翻译过来是混音器，Mixer负责在整个Service Mesh中实施访问控制和使用策略。Mixer是一个可扩展组 件，内部提供了多个模块化的适配器(adapter)。

Service 业务逻辑 轻量级SDK 协议编解码 Sidecar （MOSN） 服务发现 负载均衡 熔断限流 服务路由 …… 将SDK客户端 的功能剥离 Sidecar专注服务间通讯 混合在一个进程内， 应用既有业务逻辑， 也有各种功能 业务进程专注于业务逻辑Service Mesh 为什么蚂蚁需要Service Mesh • 拥抱微服务，云原生 • 异构语言体系融合 • 统一服务治理 近十年的网络代理研发，运维经验SOFAMosn模块与能力划分SOFAMosn协程模型 ü 一条TCP连接对应一个Read协程，执行收包，协议解析 ü 一个请求对应一个worker协程，执行业务处理，proxy和Write逻辑SOFAMosn能力扩展 ü 协议扩展 MOSN 通过使用同一的编解码引擎以及编/解码器核心接口，提供协议的 plugin 机制，包括支持 • SofaRPC • HTTP1.x 123:12220/1k.html总结 应用网络SDN 通信能力持续升级 安全与合规 § 南北，东西应用层流量的全局管 控，调度和安全能力 § 全方位的安全防护，全链路加密， 应用层的零信任网络 § 随通信基础设施，通信场景的变 化而演进 § 金融级的通信安全基础设施关于未来 § 云原生，多云混合云时代，南北，东西流量的边界逐渐模糊 § 应用网络代理层部分能力固化，下沉至系统网络栈或者智能硬件设备 §

基础架构三问： 1. 服务治理：RPC 框架 vs 服务治理平台 2. 多语言 vs Java 3. 开源 vs 自研2/24 /01 /02 /03 严选 Service Mesh 演进 混合云架构落地实践 规划与展望3/24 严选ServiceMesh演进 /014/24 严选第一代 Service Mesh 架构 • 使用 Consul 作为服务发现组件 • 数据面：cNginx • 大大降低了中间件的研发投入和演进成本，也降低了业务和中间件的耦合成本 • 基础架构与业务架构可以独立演进 • 为多语言栈提供了服务治理能力7/24 持续演进的诉求 • 提供高质量的服务治理能力 • 增强流量管理能力 • 将更多治理特性（如限流、熔断、故障注入）与业务架构解耦 • 支持更多的协议 • 增强控制面 • 配合业务容器化上云及混合云架构8/24 行业技术演进 - 2016年9月29日第一次被公开提出 Service Mesh 概念正式提出9/24 云原生 Service Mesh 框架 - Istio • 由 Google，IBM 和 Lyft 联合开发，Go 语 言，与 K8s 一脉相承且深度融合 • K8s 提供了部署、升级和有限的运行流量管 理能力 • Istio 补齐了 K8s 在微服务治理上的短板 （限流、熔断、降级、分流等） • Istio 以 Sidecar

Monolithic 混合微服务架构 Microservices • 微服务 & 单体 • Spring Cloud & Service Mesh7/总页数 运行时支撑服务 • 服务注册中心 • 服务网关 • 配置中心 混合微服务的互联互通 目标 • 互联互通 • 平滑迁移 • 灵活演进 环境 • 虚拟机 • Kubernetes8/总页数 混合微服务的互联互通 百度智能云 百度智能云 CNAP 混合微服务架构图 • Spring Cloud • Service Mesh9/总页数 注册中心与高可用方案 /0210/总页数 • Consul is a tool for service discovery and configuration. Consul is distributed, highly available, and extremely scalable 较高可用 3个9 99.9% 8.8小时 具备故障自动恢复 能力可用 4个9 99.99% 53分钟 极高可用 5个9 99.999% 5分钟18/总页数 治理策略 & 高可用 不可用因素 程序和配置出 bug 线程假死、配 置格式出错 机器故障 宕机 机房故障 核心交换机故 障、机房停电 容量 服务容量不足 依赖服务 响应超时19/总页数 治理策略 & 高可用 • 微服务高可用

• 物理机、sidecar • Local & Remote，主与备 • 轻量级客户端、本地调用 • Local Proxy负责服务治理与 远程通信 • Remote Proxy负责备份和非 主流流量 JavaApp Local Proxy OSP Server Service Registry Service Config Center Remote Proxy Cluster Proxy地址文件 • Mount到所有pod • 客户端容器监听文件，根据地 址文件找Proxy • 切换地址到remote proxy，轻 易实现优雅退出和滚动升级 • 增强隔离性 • Local Proxy被pod共享 • 自保护，对来源方限流和流量 转移 • 资源适配 • 根据宿主机的硬件配置定制不 同资源配置的Daemonset Local Proxy Pod 写入地址 监听变化 供主动GC、线程池隔离等 • 因为是内部项目，优雅性和治理效果之间，选择 了后者 App Local Proxy OSP OSP client App Envoy App EnvoyClient端不基于IPTable劫持 • Istio的设计很美好，但现实总是很残酷 • IPTable性能不总是足够好 • 任何组件都有不可用的时候。客户端无论如何都要有自切换的能力和可 用的备份 • 尽量减少外部

微服务治理与业务逻辑解耦 Part 1： 为什么需要Service Mesh? Service 业务逻辑 SDK 协议编解码 服务发现 负载均衡 熔断限流 服务路由 …… 混合在一个进程内， 应用既有业务逻辑， 也有各种功能， 每次升级都要重新发布应用 升级成本高 版本碎片化严重 中间件演进困难6/39 微服务治理与业务逻辑解耦 Part 1： Sidecar （MOSN） + 服务发现 负载均衡 熔断限流 服务路由 …… - 专注业务实现 - 无需感知Mesh - 专注服务间通讯和相 关能力 - 与业务逻辑无关 将SDK客户端 的功能剥离 混合在一个进程内， 应用既有业务逻辑， 也有各种功能， 每次升级都要重新发布应用 业务进程专注于业务逻辑 SDK 中的大部分功能， 拆解为独立进程， io/docs/reference/config/policy-and-telemetry/mixer-overview/14/39 Part 2： 在当下『路口』的思考 我们笃信云原生是『诗和远方』 图片来源： https://www.canva.com/photos/MADGyV8cijI-photography-of-snow-mountains-near-lake/15/39

BeiJing 正向代理理特点 �30 微博Service Mesh实践 - WeiboMesh ➢ 业务平滑迁移 ➢ agent故障转移，开关控制 ➢ 多发，超时精确控制 ➢ 适合⾮非云，混合云快速迁移Service Mesh Meetup · BeiJing 反向代理理配置 �31 微博Service Mesh实践 - WeiboMesh motan-service motan-basicService 微博Service Mesh实践 - WeiboMesh 1-跨语⾔言服务化 3-可靠的Transport 5-Http、Web⾃自动转RPC 2-服务治理理与业务逻辑解耦 6-适合⾮非云，混合云等，适配Registry⽀支持云原⽣生 4-节省资源Service Mesh Meetup · BeiJing Weibo Mesh在业务应⽤用中的效果 �35 微博Service Mesh实践 BeiJing 和Istio在数据⾯面和控制⾯面的区别 �37 微博Service Mesh实践 - WeiboMesh Weibo Mesh Filters Transport Mixer Envoy Pilot Citadel Istio Registry control plane data planeService Mesh Meetup · BeiJing 和Istio在Discovery上的区别

杨彪 美团点评高级架构师 2019.10.26 Service Mesh Meetup #7 成都站原蚂蚁金服专家，著有《分布式服务架构：原理、 设计与实战》和《可伸缩服务架构：框架与中间件》 两本书。有近10年互联网、游戏和支付相关的工作 经验，目前从事产业互联网。 杨彪，美团高级架构师1 漫谈服务架构的演进史 2 微服务架构设计的现状 3 Service Mesh微服务设计 4 服务可独立部署，每次部署不会影响其他服务； • 每个服务都各自负责自己的数据和状态的存储，独立数据库； • 服务和服务之间通过设计良好的API接口通信，不暴露具体的实 现细节； • 各服务不需要统一技术栈，不需要共享公共库和框架；微服务究竟带来什么好处 Ready for market faster：快速响应市场地变化 Mix of technologies：多技术栈混合使用； Scalability：可扩展性 Resiliency：可伸缩性 Lack of governance：各服务可能技术栈不统一，不好统一管理；微服务和SOA究竟有什么区别 SOA MSASOA MSA 尽可能多的共享和复用 share as much as possible 尽量少的共享和复用 share as little as possible 要求统一和标准化 common governance and standards 提倡协作和自由

PPT自我介绍 •吴天龙（花名: 木吴） •阿里云函数计算技术专家 •2013 年加入阿里云，参与分布式数据库， 对象存储等产品的开发。现任阿里云函数 计算架构师，聚焦于 Serverless 产品功 能和大规模资源伸缩调度、性能优化等系 统核心能力的研发。❖ 函数计算介绍 ❖ 双11小程序场景介绍 ❖ 技术挑战 ❖ Demo 目录函数计算-介绍 • 通用Serverless计算平 台 • 预留实例：性能好 • 按量实例：按需使用函数计算-预留实例 预留实例 按量实例 效果 0 0 禁止调用 10 0 只使用预留实例，固定费用 0 10 只使用按量实例，按需付费 10 5 混合模式，兼顾性能和成本函数计算 DemoThank you ! 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT

Reviewer 对 MR 进行 code review ，批准合并之后， feature/new_branch 会合并到 develop； • 5. 部署负责人将 develop 分支代码部署到测试环境，然后再通知 QA 测试；（脚本或者人工）有什么问题？ • 效率低 • 没有代码检查； • 没有自动化测试（包括单元测试）； • 沟通成本高 • 开发需要通知负责人、测试、产品等；（而且是每次构建/部署 request（MR）请求合并到 develop 分支； • 4. MR 触发 Jenkins，Jenkins/Drone 触发 Sonar 代码质量检测系统； • 5. Sonar 将 report 和 issue 以 comments 的方式写到 Gitlab MR 中； • 6. Developer 对 MR 进行反复修复直至通过 Sonar 的分析； • 7. Reviewer 对 MR 进行 服务所占用的CPU和内存开销DroneDrone • 一款使用 Go 开发，基于容器技术的 CI/CD 系统，能够单独部署，支持几乎所有的 Git 平台（Github,Gitlab,Bitbucket,Gogs,Gitea 等）。 • 它的特点： • 一个 .drone.yml 搞定（简单） • 原生 Docker 支持: 任何步骤都是在 Docker 内执行的（环境隔离） • Pipeline