Contour支持Tracing能力 • 数据面共存 • 共用边车组件Envoy七牛现有Service Mesh体系 • Istio产品化 • 东西流量产品化 • 南北流量产品化 • TLS管理优化 • Contour增强 • 入口流量管控 • 跨集群调度 • 发展策略 • API版本兼容两种方式 • 数据面优先，控制面按需迭代七牛容器云Service Mesh发展 • 产品发展 • • Istio的Tracing产品化落地场景—云存储系统 • 历史问题 • 灰度发布 • 预上线系统验证体系 • 系统故障隔离 • 跨集群访问 • 线上问题链路追踪 • 解决方案 • Istio南北流量分流策略产品化 • 基于Istio的QoS产品化 • 跨集群流量调度 • 基于Istio的Tracing产品化落地场景—大数据产品 • 系统优化之路 • 多版本灰度升级 • 根据流量做横向伸缩 跨集群流量调度七牛容器云产品逻辑架构 Kubernetes + Docker + 生态链七牛容器云产品未来发展 • 更多功能 • 故障熔断 • 故障注入 • 业务配置动态分发 • 优化升级 • 性能优化： • DPDK + eBPF • 系统优化 • 根据需求裁剪Istio。解耦Envoy和其他组件 • 裁剪Istio相关CRD，简化系统结构ServiceMesher公众号 SOFAStack公众号 http://www

1124 获取 PPT自我介绍 •吴天龙（花名: 木吴） •阿里云函数计算技术专家 •2013 年加入阿里云，参与分布式数据库， 对象存储等产品的开发。现任阿里云函数 计算架构师，聚焦于 Serverless 产品功 能和大规模资源伸缩调度、性能优化等系 统核心能力的研发。❖ 函数计算介绍 ❖ 双11小程序场景介绍 ❖ 技术挑战 ❖ Demo 目录函数计算-介绍 • 通用Serverless计算平 n 活动高峰期流量激增函数计算-冷启动优化 Download & Extract Code User Code Init Logic Execution Start Container Agent Ready FC Responsibility Developer Responsibility 优化前 1000ms 10ms~60000ms 优化后 200ms 10ms~60000ms

nanovisor 日志服务 云盘 本地多盘 弹性网卡 网络安全组 GPU 安全可信 数据库服务 OB serverless 平台 kata SOFAMesh 资源分时复用 神龙裸金属 VPC 云存储 应用服务器 数据库服务器 国产化服务器7/19 二、双十一 Kubernetes 实践 Part 2：8/19 资源分时调度 Part 2：双十一 Kubernetes 实践 快速腾挪的问题 Worker 2 spark driver 1 spark exec 1 spark exec 212/19 随着业务越来越多… Part 2：双十一 Kubernetes 实践13/19 调度性能优化 Part 2：双十一 Kubernetes 实践14/19 Operator开发者最佳实践 Part 2：双十一 Kubernetes 实践 • CRD 在定义时需要明确未来的最大数量，大量CR

service Oriented Architecture）于2013年初上线推广 微服务体系的其他产品也均为自研方案6/24 MOA 1.0微服务体系整体架构 注册中心 • Redis作为底层存储 • 跨语言地址发现服务Lookup • 中心化存活检测 多语言支持 • Java、PHP、Python、Go、NodeJs • Redis传输协议 / 复用Redis客户端 • 服务发布Proxy 场景：出流量由入流量产生 • 方案：由原有健康检测机制摘除流量 借助原有服务治理能力 特殊应用 • 场景：流式计算、定时任务 • 方案：出流量降级至本应用的其他Agent 出流量容灾20/24 数据平面性能优化 方案整体 • 新增MOA Mesh协议 • 减少decode请求体开销 • ProtoBuf替换JSON • 复用连接并适当设置连接数 Agent内部 • 对象池化：减少资源消耗与GC压力

•Metrics 收集 •TCP 代理 •TLS 支持 •TProxy 支持 •平滑 reload •平滑版本升级 多协议 •SOFA RPC •HTTP 1.x (待优化) •HTTP 2 (待优化) •Dubbo (研发中) •HSF (研发中) •On TLS 核心路由 •支持 virtual host 路由 •支持 headers/url/prefix 路由 •支持基于 后端管理4 性能单核优化点 1 Ø绑核 ü 更好的 runtime G-P-M data locality亲和性 ü 整体性能提升约 30% Ø内存 ü SLAB-style buffer pool ü 内存优化 ØIO ü IO 优化 ü IO 均衡 Ø调度 ü P调度均衡 ü 池化 worker 协程 Ø其他 ü Log 优化 ü Codec 优化：减少解包等绑核 2 Ø单核绑核 -> mheap -> arena ü大于 32K 的大内存分配顺序 mheap -> arena ØGC 优化 ü避免入堆 ü减少内存 copy ü内存使用整体化，降低 scanobject 成本 ü使用 GC 亲和的数据结构 ü适度使用 sync.Pool ü…IO 4 Ø优化 ü尽可能多读，同时减少SetReadDeadline频繁调用，实现见 IOBuffer.ReadOnce

提升3倍 • 对Spanner实现了异步化改造 • 对openssl进行了异步化引擎改造 • 实现多芯片卡的负载均衡协议实现的改造-MTLS MTLS：1) 轻量级TLS库，小于50k；2) 优化的TLS协议 0-RTT • 减少握手延迟 • 代价：握手前发送的数据不能 保证防重放攻击，因此要求应 用程序自己保证防重放攻击 Small Ticket • 自定义Session Ticket编码格式 业务可根据需求灵活选择明文 或密文传输，提升业务效率 动态Record Size • 平衡吞吐与时延 高效 优化 灵活 TLS扩展安全合规能力持续升级 国密算法 • 拥抱监管 • 安全可控 • 金融科技 AntTLS库 • 基于OpenSSL • 全面拥抱TLS1.3 • 国密优化实现，国密单证书标准支撑 • 支持SGX等可信机制 • 多硬件卡Engine • Mobile，iot设备等多终端支持 剩余红包实时显示无线移动网络优化 § 统一通道：主长连接 + 短连接 § 统一协议：MTLS+MMTP § 统一调度：MobileDC 最优调度 网络探测 连接建立 传输+保持 通道复用 复合建连 握手优化 短连补偿 智能心跳 数据压缩 质量模型 自动重试 云端补偿 柔性建连 假连淘汰 动态超时 § 终端策略覆盖移动网络难点 § 优化对业务透明 § ROI考虑

日志平台11/24 性能视角 – cNginx vs Envoy（优化前） • 1600RPS+40个并发(主机配置均为 8C16G) • cNginx 的 RT overhead 在0.4ms左右 • Envoy(client模式)的 RT overhead 是0.6ms左右12/24 性能视角 – cNginx vs Envoy（优化后） • 优化方案 • 采用 sriov 容器网络 • Envoy：将1 Envoy：将1.13版本中 connection loadbalancer 特性移植到 1.10.x 版本 • Envoy 优化后在低并发（<64）的情况下，容器网络 client sidecar 优于 VM 网络直连 • Envoy 优化后在高并发（>=64）的情况下 • 容器网络 client sidecar 接近 VM 网络直连 • 容器网络 client sidecar 远远优于 VM 相关配置下发功能版本后，Envoy 在一定压力访问或 有客户端主动断开请求时，会进入一段存在问题的断言（assert）逻辑，导致 envoy crash， 此时请求方体现为 502 异常 • 社区目前给出的优化建议是在 envoy 编译选项使用 -opt（默认为 -dbg） • 社区已在新版本清理这段问题断言逻辑：https://github.com/envoyproxy/envoy/issues/9083

Ø 内存复用框架 Ø Slab style buffer Ø Raw-Epoll模式 Ø 读合并 Ø 协程池化 Ø 调度均衡 Ø SOFARPC深度优化 Ø TLS官方库IO优化 Ø HTTP1.1/HTTP2.0 IO优化 Ø 日志操作异步化&多次合 并 Ø 基于RCU的高性能配置更 新安全 & 可观察性 0.1.0 0.2.0 0.3.0 0.4.0 Ø mTLS支持 继续读取数据技术案例 – HTTP/2.0优化 官方HTTP/2.0实现问题： 1. syscall read较多，效率低下 2. 每个stream分配单独的goroutine处理， 调度开销高 3. 临时对象多，GC占比高 4. 基本实现了RFC中MUST部分，部分功 能需求上不匹配，如GRPC trailer实现技术案例 – HTTP/2.0优化 优化思路：适配MOSN框架，复用官方实现核心结构体和解析流程 代码管理 ü fork x/net/http2 代码 ü 新增mosn_http2.go文件，复用原生结构体和方法，暴露mosn框架 所需方法和结构 ü 原则不修改原生文件技术案例 – http2性能优化 Ø 压测环境 p Intel(R) Xeon(R) CPU E5620 @ 2.40GHz p kernel：2.6.32-220.23.2.el6.x86_64 p 单核模式：1 core； 多核模式：

(Pilot+Consul 占用冲高到 400%) • TIME_WAIT Sockets 太多导致FD耗光 Consul Registry优化 • 增加数据缓存，减少无谓的Consul Catalog API调用 • 将Polling改为Watch，大幅降低Consul服务数据变化后的同步时延 优化效果 • 200个服务的规模下，CPU占用率降低了一个数量级 • 服务数据变化同步时延从分钟级降低到秒级 • Consul调用导致的TIME_WAIT • IPV6支持增强 • 在Istio中集成方法级的调用跟踪 • 在Istio中集成Kafka调用跟踪上游开源社区参与情况 所有通用的故障修复、性能优化和新特性都提交PR合入了上游社区。包括： • Consul Registry性能和资源占用优化 • 多网络平面支持 在产品化过程中对Istio的改进会持续向社区进行贡献！Service Mesh中文社区 https://www.servicemesher

并且实现了业务中单个的完整业务功能。 • 服务和服务之间是独立的、低耦合的； • 每个服务都尽量小，小到一个小团队能够很好的维护它； • 服务可独立部署，每次部署不会影响其他服务； • 每个服务都各自负责自己的数据和状态的存储，独立数据库； • 服务和服务之间通过设计良好的API接口通信，不暴露具体的实 现细节； • 各服务不需要统一技术栈，不需要共享公共库和框架；微服务究竟带来什么好处 Ready for market Service bus (ESB) 服务间使用轻量级的HTTP/REST通信 lightweight protocols such as HTTP/REST 可能共享数据存储 Share Data 具有独立的数据存储 Data isolation 依赖很多中间件 Middleware component 独立自治的轻量级服务 small autonomous services 服务治理难度巨大不要让今天的代码成为明天的历史包袱 追求极致的思考1 漫谈服务架构的演进史 2 微服务架构设计的现状 3 Service Mesh微服务设计 4 Service Mesh的框架介绍微服务设计的最佳实践 数据独立存储 保持代码高内聚 低耦合的服务 容器化发布 服务是无状态的微服务如何切分 DDD限界上下文 低耦合的服务设计方法论：DDD战略建模4步搞定微服务的划分保持代码高内聚的方法论：DDD战术建模Service