进击的 Traefik 杨川胡（阳明） 知群后台负责人 2019.10.26 Service Mesh Meetup #7 成都站 云原生边缘路由器探秘杨川胡（阳明） 知群后台负责人，原小米视频后台高级研发 ，《Prometheus 深入浅出》作者，「k8s技 术圈」社区作者，现阶段专注于云原生技术 领域，希望成为一个有产品思维的工程师1 Traefik 介绍 2 Traefik Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik With KubernetesTraefik 是什么？ • 云原生的边缘路由器 • 让部署微服务更加便捷而诞生的现 代 HTTP 反向代理、负载均衡工具 • 它支持多种后台 (Docker, Swarm, Kubernetes, M arathon, Mesos, Consul, Etcd, Z ookeeper ....1 Traefik 介绍 2 Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik With KubernetesTraefik 是一个边缘路由器Traefik 自动服务发现Traefik 2.0 架构 • Providers 用来自动发现平台上的服务 • Entrypoints 监听传入的流量（端口等… ） • Routers 分析请求（host

Ø 简单匹配路由 Ø 集群管理 & 基本负载均衡(RR、 RANDOM) Ø SofaRpc及HTTP/1.1、 HTTP/2.0支持 Ø 进程平滑升级 Ø SOFAMesh集成，支持 xDS on ADS Ø X-Protocol协议扩展机制， 以及Dubbo支持 Ø 支持network/stream filter 扩展 Ø 支持WRR负载均衡 Ø 支持subset复杂匹配路由 Ø Ø 无损平滑迁移 Ø ProtocolEngine协议扩展 机制 Ø 支持Router模式 Ø GRPC支持 Ø 协议自动识别 Ø 链式路由扩展 Ø 完善流量管理策略，包括 Retry、DirectResponse、 HTTP Header add/delete、 流控、故障注入等 Ø 支持必要的admin接口性能 0.1.0 0.2.0 0.3.0 0.4.0 Ø 内存复用框架 ProtocolMatch 返回AGAIN 匹配成功，获 取对应协议 无法识别协议， 断开链接 继续读取数据技术案例 – HTTP/2.0优化 官方HTTP/2.0实现问题： 1. syscall read较多，效率低下 2. 每个stream分配单独的goroutine处理， 调度开销高 3. 临时对象多，GC占比高 4. 基本实现了RFC中MUST部分，部分功 能需求上不匹配，如GRPC trailer实现技术案例

7 亿美元收购 NGINX Apache APISIX 简介 关于 Apache APISIX • 天然的云原生 API 网关 • 中国最快毕业的 Apache 顶级项目 • 全动态：路由、SSL 证书、上游、插件… • 40 多个插件，覆盖：身份认证、安全、日志、可观测性… Apache APISIX 设计思路 • API 网关的数据面和控制面分离 • 通过插件机制来方便二次开发和运维 APISIX 的路由复杂度是 O(k)，只和 uri 的长度有关，和路由数量无关；kong 的路由时间复杂 度是 O(n)，随着路由数量线性增长。 • Apache APISIX 的 IP 匹配时间复杂度是 O(1)，不会随着大量 IP 判断而导致 cpu 资源跑满；kong 的最 新版本也换用了 Apache APISIX 的 IP 匹配库； • Apache APISIX 的路由匹配，接受 nginx 和 Kong 的对比 对⽐比项 APISIX Kong 技术架构 Nginx + etcd Nginx + postgres ⾼高可⽤用 ⾮非常可靠，没有单点 ⼀一般，有数据库 的单点 精细化路路由 ⽀支持 Nginx 变量量和⾃自 定义函数 固定的⼏几个条件 配置⽣生效时间 事件驱动，⼩小于 1 毫秒 轮询拉取，5 秒 处理理延迟 0.2 毫秒 2 毫秒 性能（单核，开启两个限流和 prometheus插件）

django-tidb 是一个为 Django 提供的 TiDB 适配器，它解决了 TiDB 与 Django 之间的兼容性问题。 安装 django-tidb 时，请选择与你的 Django 版本匹配的版本。例如，如果你使用的是 django==4.2.*，则应安 装 django-tidb>=4.2.0,<4.3.0，其中 minor 版本号不需要完全相同。建议使用最新的 minor 版本。 Connect 按钮，将会弹出连接对话框。 3. 确保连接对话框中的配置与你的操作环境匹配。 • Connection Type 设置为 Public。 • Branch 选择 main。 • Connect With 设置为 General。 • Operating System 与你运行应用程序的操作系统相匹配。 4. 如果你还没有设置密码，点击 Generate Password 生成一个随机密码。 字的 场景（如用户财产相关）中，请确保使用定点数类型。 TiDB 支持许多其他的列数据类型，包含整数、浮点数、定点数、时间、枚举 等，可参考支持的列的数据类型， 并使用与你准备保存在数据库内的数据匹配的数据类型。 稍微提升一下复杂度，例如选择定义一张 books 表，这张表将是 bookshop 数据的核心。它包含书的唯一标识、 名称、书籍类型（如：杂志、动漫、教辅等）、库存、价格、出版时间等字段。

django-tidb 是一个为 Django 提供的 TiDB 适配器，它解决了 TiDB 与 Django 之间的兼容性问题。 安装 django-tidb 时，请选择与你的 Django 版本匹配的版本。例如，如果你使用的是 django==4.2.*，则应安 装 django-tidb>=4.2.0,<4.3.0，其中 minor 版本号不需要完全相同。建议使用最新的 minor 版本。 Connect 按钮，将会弹出连接对话框。 3. 确保连接对话框中的配置与你的操作环境匹配。 • Connection Type 设置为 Public。 • Branch 选择 main。 • Connect With 设置为 General。 • Operating System 与你运行应用程序的操作系统相匹配。 4. 如果你还没有设置密码，点击 Generate Password 生成一个随机密码。 字的 场景（如用户财产相关）中，请确保使用定点数类型。 TiDB 支持许多其他的列数据类型，包含整数、浮点数、定点数、时间、枚举 等，可参考支持的列的数据类型， 并使用与你准备保存在数据库内的数据匹配的数据类型。 稍微提升一下复杂度，例如选择定义一张 books 表，这张表将是 bookshop 数据的核心。它包含书的唯一标识、 名称、书籍类型（如：杂志、动漫、教辅等）、库存、价格、出版时间等字段。

@ghazalfamilyusa – 优化对大数据量的表进行简单查询时获取数据分布信息的性能 #53850 @you06 – 聚合的结果集能够作为 IndexJoin 的内表，使更多的复杂查询可以匹配到 IndexJoin，从而可以通过索 引提升查询效率 #37068 @elsa0520 – 通过批量删除 TiFlash placement rule 的方式，提升对分区表执行 TRUNCATE、DROP django-tidb 是一个为 Django 提供的 TiDB 适配器，它解决了 TiDB 与 Django 之间的兼容性问题。 安装 django-tidb 时，请选择与你的 Django 版本匹配的版本。例如，如果你使用的是 django==4.2.*，则应安 装 django-tidb>=4.2.0,<4.3.0，其中 minor 版本号不需要完全相同。建议使用最新的 minor 版本。 Connect 按钮，将会弹出连接对话框。 3. 确保连接对话框中的配置与你的操作环境匹配。 • Connection Type 设置为 Public。 • Branch 选择 main。 • Connect With 设置为 General。 • Operating System 与你运行应用程序的操作系统相匹配。 4. 如果你还没有设置密码，点击 Generate Password 生成一个随机密码。

Nacos 做到 AP 协 议的关键。  存储模块：解决数据持久化、非持久化存储，解决数据分片问题。 插件  Nameserver：解决 Namespace 到 ClusterID 的路由问题，解决用户环境与 Nacos 物理环境 映射问题。  CMDB：解决元数据存储，与三方 CMDB 系统对接问题，解决应用，人，资源关系。  Metrics：暴露标准 Metrics 数据，方便与三方监控系统打通。 节点都可以接收到读写请求。所有的 Distro 协议的请 求场景主要分为三种情况： 1. 当该节点接收到属于该节点负责的实例的写请求时，直接写入。 2. 当该节点接收到不属于该节点负责的实例的写请求时，将在集群内部路由，转发给对应的节点， 从而完成读写。 3. 当该节点接收到任何读请求时，都直接在本机查询并返回（因为所有实例都被同步到了每台机 器上）。 Distro 协议作为 Nacos 的内嵌临时实例⼀ 可能是⼀个企业或者独立的个体，这个数 据⼀般情况下不会透传到服务注册中心。⼀个用户账号可以新建多个命名空间，每个命名空间对应 ⼀个客户端实例，这个命名空间对应的注册中心物理集群是可以根据规则进行路由的，这样可以让 注册中心内部的升级和迁移对用户是无感知的，同时可以根据用户的级别，为用户提供不同服务级 别的物理集群。再往下是服务分组和服务名组成的二维服务标识，可以满足接口级别的服务隔离。 Nacos

SDK 实现的七层通信相关功能抽象 出来，使用一个专用层次来实现，Service Mesh 对应用透明，因此应用 可以无需关注分布式架构带来的通信相关问题，而专注于其业务价值。 流量控制：服务发现、请求路由、负载均衡、灰度发布、错误重试、 断路器、故障注入 可观察性：遥测数据、调用跟踪、服务拓扑 通信安全： 服务身份认证、访问鉴权、通信加密 Proxy Application Layer Service q 服务数据（Mesh 中有哪些服务？缺省路由） v Service Registry § Kubernetes：原生支持 § Consul、Eureka 等其他服务注册表：MCP over xDS （https://github.com/istio-ecosystem/consul-mcp） v 通过CRD定义的服务数据 q 自定义流量规则（如何将请求路由到这些服务？） v 通过CRD定义的流量规则 Destination Rule 外部请求 内部客户端 Service2 Service1 网格内部 定义网格入口 • 服务端口 • Host • TLS 配置 • 路由配置 • 根据 Host 路由 • 根据 Header • 根据 URI 路由 目的地流量策略配置 • LB 策略 • 连接池配置 • 断路器配置 • TLS 配置 Gateway External Service 统一网格出口 •

iptables/ebpf 透明地路由所有网络流量 • 服务治理规则，服务，实例和配置都是 Kubernetes 资源 • 使用 Controller Pattern 通过 CRD 扩展新的能力 • …MESH 落地碰到的问题 • 客户端服务发现与负载均衡无法与 ISTIO 一起工作 • ENVOY 不支持微服务使用的通信协议 • RPC 服务使用的接口，方法，参数语义无法匹配 ISTIO 的路由模 型 • 一个应用上部署了多个 服务，每个服务有自己的版本 • …ISTIO 控制平面路由的抽象模型 INBOUND OUTBOUNDSOFA 服务注册模型落地一个微服务框架需要的工作 • 部署 ZK 集群作为 RPC 框架的注册中心 • 开发 ZK Platform Adapter for DUBBO • 开发 DUBBO 服务的 XDS 配置下发 • 开发 DUBBO 服务的路由规则 XDS 适配 • 开发 DUBBO 协议支持SOFA • 部署 ZK 集群作为 RPC 框架的注册中心 • 开发 ZK Platform Adapter for DUBBO • 开发 DUBBO 服务的 XDS 配置下发 • 开发 DUBBO 服务的路由规则 XDS 适配 • 开发 DUBBO 协议支持（开箱即用模式下也可以省掉）DNS 寻址目标 • 允许应用把接口当做域名来访问远端服务 • 支持在 Kubernetes DNS 之上构建更结构化的域名体系

API网关数据库 应用中心数据库 基础服务数据库 基础服务数据库 … … … • 多环境资源互不影响 微服务 • 全链路服务全部属 • 注册中心独立部署 流量隔离 • 多域名，泛域名解析匹配 数据 • 全量同步线上脱敏数据 • Mysql redis ES 全搭建 • 数据全部物理隔离 发布平台 • 按需分支发布 • 多环境完全并行 • 一期方案的问题与挑战 1 2 3 如何做到激增流量时，全链路联动扩缩容 ‣ 如何通过共享减少资源占用 ‣ 如何识别流量，智能路由 • 资源隔离，逻辑隔离，物理隔离 逻辑隔离多环境共享一个K8S（线下） 问题1 多环境物理隔离（线下，线上） 问题2 推荐做法 • 资源严格隔离：独占K8S，根据引入流量区分线上，线下 • 资源逻辑隔离：线下环境，通过智能路由，解决多环境 • 多云部署的目的 目的一 目的二 目的三 多K8S集群严格隔离 注册 Redis ES Mysql • 多云多K8S多环境的挑战 挑战 多云发布一致性 1 跨云数据同步保证 2 多环境一套模板适配性 3 多K8S的监控 4 • 基于Istio的智能路由 Istio层 IstioIngressGateway v5897 v5897 Gateway VirtualService DestinationRule Service Kubernetes层