mesh Old-school monitoringPrometheus + Kubernetes ● A time series based monitoring system. ● Borgmon for mere mortals. ● Seamless integration with kubernetes at infrastructure and app level. ● Key caching is necessary.Deploy on kubernetes - Prom + Sidecar ● https://github.com/improbable-eng/thanos/tree/master/ kube/manifests ● Run as statefulset in a kubernetes cluster. ● Sidecar and prometheus ● Sidecar exposes 10900 for gossip between thanos componentsDeploy on kubernetes - Querier ● Run as deployment in a kubernetes cluster. ● Stateless, scale as you like. ● Exposes 9090 for prometheus-like

深入 Kubernetes 的“无人区” —— 蚂蚁金服双十一的调度系统 曹寅2/19 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 目 录 contents 目录3/19 一、蚂蚁金服的Kubernetes现状 Part 1：4/19 发展历程与落地规模 Part 1：蚂蚁金服的Kubernetes现状 平台研发 灰度验证 规模化落地 2018年下半年开始投 入 Kubernetes 及其配 套系统研发 2019年初于生产环境 开始灰度验证，对部分 应用做平台迁移 2019年4月完成云化环境 适配，蚂蚁金服云上基础 设施全部采用 Kubernetes 支撑618 2019年7月到双十一前完成 全站 Kubernetes 落地，超过 90% 的资源通过 Kubernetes 分配，核心链路100%落地支撑 大促。5/19 大促。5/19 大促规模 Part 1：蚂蚁金服的Kubernetes现状 数万台 服务器和ECS 超一万 单集群规模 90%+ 应用服务 数十万 应用 Pods业务 6/19 统一资源调度架构 Part 1：蚂蚁金服的Kubernetes现状 非云 资源 云化 资源 基础 服务 蚂蚁 k8s 核心 CRI Kubernetes API Server 极速交付 分时复用

周 涛 (广侯) 阿里巴巴 云原生应用平台 技术专家 阿里巴巴超大规模神龙裸金属 Kubernetes 集群运维实践 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •嵌入式、微服务框架 •2017 年加入阿里巴巴，负责阿 里集团数十万集群节点规模化运 维管理系统的研发工作 •2019 年参与集团全面上云项目 并经历了整体架构的云原生升级 演进，稳定支撑双11峰值流量分享内容

…SERVICE MESH 落地中的问题常见的 MESH 落地方案 在非 KUBERNETES 环境部署 ISTIO 把 KUBERNETES 当作一个更好用的虚拟化方案 KUBERNETES NATIVE 化微服务 PLATFORM ADAPTER 自己做控制平面KUBERNETES NATIVE 微服务 • 使用 Kubernetes 作为注册中心 • Service • Endpoint • • Pod • 使用 DNS 寻址 • 使用 iptables/ebpf 透明地路由所有网络流量 • 服务治理规则，服务，实例和配置都是 Kubernetes 资源 • 使用 Controller Pattern 通过 CRD 扩展新的能力 • …MESH 落地碰到的问题 • 客户端服务发现与负载均衡无法与 ISTIO 一起工作 • ENVOY 不支持微服务使用的通信协议 • RPC 服务使用的接口，方法，参数语义无法匹配 DUBBO • 开发 DUBBO 服务的 XDS 配置下发 • 开发 DUBBO 服务的路由规则 XDS 适配 • 开发 DUBBO 协议支持SOFA MESH 的统一解决方案 • 采用 Kubernetes Native 方式落地微服务应用 • 使用 INTERFACE 作为 DNS 来寻址服务 • 开发一个通用协议处理框架 • 避免为不同的微服务框架修改 PILOT 代码 • 通过插件的方式按需支持新的协议

ServiceMesh发展趋势（续） 蚂蚁金服 敖小剑 棋到中盘路往何方Part 0：前言 5月底，我在Cloud Native Meetup上做了一个“ServiceMesh 发展趋势：云原生中流砥柱”的演讲，当时主要讲了三块内容： - Service Mesh产品动态 - Service Mesh发展趋势 - Service Mesh与云原生 今天的内容可以视为是上次演讲部分内容的深度展开，如社区 3：ServiceMesh灵魂拷问三：要不要支持虚拟机？ Linkerd 1.* Envoy Istio Linkerd 2.* 支持 不支持 第一个转折容易理解：相比虚拟机，k8s提供了太多便利 • 容器 • kubernetes • 云原生Part 3：ServiceMesh灵魂拷问三：要不要支持虚拟机？ Linkerd 1.* Envoy AWS App Mesh Google Traffic Director DirectorPart 3：ServiceMesh灵魂拷问三：要不要支持虚拟机？ 理想（云原生普及）和现实（虚拟机大量存在）的差距 理想很丰满，现实很骨感。Cloud Native虽 然令人向往，然而现实中，有多少企业是真 的做好了Cloud Native的准备？ 问题：到底该先容器/k8s，再上微服务 /servicemesh；还是先微服务/servicemesh， 再上容器/k8s？ 每个公司都会有自己的实际情况和选择。

Kubernetes、ServiceMesh、CI/CD 实践 杨文@JEX 2018.08.25 Service Mesh Meetup #3 深圳站关于我 • JEX 技术VP • 前小恩爱技术总监 • Gopher，开源爱好者 • Go 夜读发起人 • https://github.com/developer-learning/night-reading-go • https://github https://github.com/developer-learning/learning-kubernetes大纲 • 技术架构的演进 • 如何提升工程效率？DevOps • CI/CD 实战 • ServiceMesh • 踩过的一些坑 • Q&A技术架构的演进 • 单体架构 • 一个框架 • 一个数据库 • 分模块整合架构（前后端分析） • 不同的框架或业务模块 • 多种数据源 • 微服务架构 路由到单个后端实例。当部署第二个客户端时，它可能被路由到另 一个后端实例。这不是所需的那种负载均衡，因为它不允许独立地 扩展客户端和服务器。当客户端实例比服务器实例少时，一些服务 器实例将处于空闲状态，所以 Kubernetes Service 不太适合 gRPC 负 载均衡。—摘自：http://www.k8smeetup.com/article/N1yW3gPNXgRPC LoadBalancing • gRPC

reliable delivery of requests through the complex topology of services that comprise a modern, cloud native application. In practice, the service mesh is typically implemented as an array of lightweight 管控规则 灰度发布 网格增强组件 原生组件 APP： Traffic Management APP ...产品化增强-服务注册发现 出于历史原因，我们使用了Kubernetes来部署服务，但并未使用Kubernetes内置的 服务发现功能。 Process Service-A Service-B Service-C Coarse grained Service Application

Service Instance. Each one workload in the Service group is named as an instance. Like pods in Kubernetes, it doesn't need to be a single process in OS. Also if you are using instrument agents, an instance .0/docs/en/concepts- and-designs/oal.mdWhat is Service Mesh probe? Metric from Service Mesh by native supportedMetric Data Structure • Service Names at both sides. • Service Instance Names at both

reliable delivery of requests through the complex topology of services that comprise a modern, cloud native application. In practice, the service mesh is typically implemented as an array of lightweight Mesh：Linkerd架构Service Mesh： OCTO-Mesh架构为了解决单体的复杂度问题，我们引入微服务架构 为了解决微服务架构下大量应用部署的问题，我们引入容器 为了解决容器的管理和调度问题，我们引入Kubernetes 为了解决微服务框架的侵入性问题，我们引入Service Mesh 总结：历史的规律总是那么相近 上帝的归上帝，恺撒的归恺撒，架构需要专注于业务的实现Q&A

Mesh（带控制平面，如Istio） • Kubernetes • 微服务 ü 现实中有很多挑战 • 还有很多应用没有实现微服务化 • 还有很多应用没有运行在kubernetes之上 • Istio目前还不够稳定，也无法原生支持我们的规模 • 现有系统中的众多应用不可能一夜之间全部迁移 ü 最重要的：平滑迁移 • 微服务 + Service Mesh + Kubernetes 是目标 • 但是如何 Service Mesh演进路线 3 2 实现平滑迁移的关键 3 4 DNS寻址方案的后续规划 5 总结 DNS寻址方案的演进DNS寻址方案的演进路线 SOFAMesh Istio Kubernetes SOASOA时代的寻址：服务发现和服务注册 Interface2 Interface1 Interface3 SOA架构：单进程多接口 服务注册中心 注册interface3 (Interface2) ctx.getBean("interface2"); interface2.doSomething(); 2. 发起调用(请求报文中包含要调用的接口名和函数名) 按接口查找Kubernetes的DNS寻址 userservice pod DNS userservice pod userservice pod 1. 服务部署 • ServiceType=ClusterIP