进击的 Traefik 杨川胡（阳明） 知群后台负责人 2019.10.26 Service Mesh Meetup #7 成都站 云原生边缘路由器探秘杨川胡（阳明） 知群后台负责人，原小米视频后台高级研发 ，《Prometheus 深入浅出》作者，「k8s技 术圈」社区作者，现阶段专注于云原生技术 领域，希望成为一个有产品思维的工程师1 Traefik 介绍 2 Traefik Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik With KubernetesTraefik 是什么？ • 云原生的边缘路由器 • 让部署微服务更加便捷而诞生的现 代 HTTP 反向代理、负载均衡工具 • 它支持多种后台 (Docker, Swarm, Kubernetes, M arathon, Mesos, Consul, Etcd, Z ookeeper ....1 Traefik 介绍 2 Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik With KubernetesTraefik 是一个边缘路由器Traefik 自动服务发现Traefik 2.0 架构 • Providers 用来自动发现平台上的服务 • Entrypoints 监听传入的流量（端口等… ） • Routers 分析请求（host

12.7. 为项目定义默认网络策略 12.8. 使用网络策略配置多租户隔离 第 第 13 章 章 多网 多网络 络 13.1. 了解多网络 13.2. 配置额外网络 13.3. 关于虚拟路由和转发 13.4. 配置多网络策略 13.5. 将 POD 附加到额外网络 13.6. 从额外网络中删除 POD 13.7. 编辑额外网络 13.8. 删除额外网络 13.9. 为 VRF 为项目编辑出口防火墙 15.6. 从项目中删除出口防火墙 15.7. 使用出口路由器 POD 的注意事项 15.8. 以重定向模式部署出口路由器 POD 15.9. 以 HTTP 代理模式部署出口路由器 POD 15.10. 以 DNS 代理模式部署出口路由器 POD 15.11. 从配置映射配置出口路由器 POD 目的地列表 15.12. 为项目启用多播 15.13. 为项目禁用多播 16.11. 分配出口 IP 地址 16.12. 使用出口路由器 POD 的注意事项 16.13. 以重定向模式部署出口路由器 POD 16.14. 为项目启用多播 16.15. 为项目禁用多播 16.16. 跟踪网络流 16.17. 配置混合联网 第 第 17 章 章 配置路由 配置路由 17.1. 路由配置 17.2. 安全路由 第 第 18 章 章 配置集群入口流量 配置集群入口流量

1.1. OPENSHIFT CONTAINER PLATFORM DNS 1.2. OPENSHIFT CONTAINER PLATFORM INGRESS OPERATOR 1.2.1. 路由和 Ingress 的比较 第 第 2 章 章 访问 访问主机 主机 2.1. 访问安装程序置备的基础架构集群中 AMAZON WEB SERVICES 上的主机 第 第 3 章 章 网 网络 1. 通过路由标签（label）配置 Ingress Controller 分片 6.8.5.2. 使用命名空间标签配置 Ingress Controller 分片 6.8.6. 配置 Ingress Controller 以使用内部负载均衡器 6.8.7. 将集群的默认 Ingress Controller 配置为内部 6.8.8. 配置路由准入策略 6.8.9. 使用通配符路由 6.8.10 11.2.6. 通过应用 YAML 清单来创建额外网络附加 11.3. 将 POD 附加到额外网络 11.3.1. 将 pod 添加到额外网络 11.3.1.1. 指定特定于 pod 的地址和路由选项 11.4. 从额外网络中删除 POD 11.4.1. 从额外网络中删除 pod 11.5. 编辑额外网络 11.5.1. 修改额外网络附加定义 11.6. 删除额外网络 11.6.1

OPENSHIFT CONTAINER PLATFORM 中的 中的 INGRESS 分片 分片 8.1. INGRESS CONTROLLER 分片 8.2. 为 INGRESS CONTROLLER 分片创建路由 8 9 9 9 10 13 13 14 14 14 14 14 14 14 15 15 15 16 16 16 23 24 24 24 25 26 26 30 30 30 . . . . . . . . . . . . . . . . . . . . 第 第 25 章 章 多网 多网络 络 25.1. 了解多网络 25.2. 配置额外网络 25.3. 关于虚拟路由和转发 25.4. 配置多网络策略 25.5. 将 POD 附加到额外网络 25.6. 从额外网络中删除 POD 25.7. 编辑额外网络 25.8. 删除额外网络 25.9. 为 VRF 分配从属网络 13. 为项目编辑出口防火墙 27.14. 从项目中删除出口防火墙 27.15. 配置出口 IP 地址 27.16. 分配出口 IP 地址 27.17. 使用出口路由器 POD 的注意事项 27.18. 以重定向模式部署出口路由器 POD 27.19. 为项目启用多播 27.20. 为项目禁用多播 27.21. 跟踪网络流 27.22. 配置混合联网 第 第 28 章 章 OPENSHIFT

一、RocketMQ 部署架构 在 RocketMQ 主要的组件如下： 1. Nameserver Nameserver 集群，topic 的路由注册中心，为客户端根据 Topic 提供路由服务，从 而引导客户端向 Broker 发送消息。Nameserver 之间的节点不通信。路由信息在 Nameserver 集群中数据一致性采取的最终一致性。 2. Broker 消息存储服务器，分为两种角色：Master 时间只会连接一台 nameserver，只有在连接出现异常时才会向尝试连接另外一台。客户 端每隔 30s 向 Nameserver 发起 topic 的路由信息查询。 温馨提示：Nameserver 是在内存中存储 Topic 的路由信息，持久化 Topic 路由信息 的地方是在 Broker 中，即${ ROCKETMQ_HOME}/store/config/topics.json。 在 RocketMQ4 true，表示开启 Topic 自动创建，但新创建的 Topic 的路由信息只包含在其中一台 Broker 服务器上，这是为什么呢？ 期望值：为了消息发送的高可用，希望新创建的 Topic 在集群中的每台 Broker 上创 建对应的队列，避免 Broker 的单节点故障。 现象截图如下： Broker 集群信息 自动创建的 topicTest5 的路由信息： topicTest5 只在 broker-a

版本 Istio 1.12.7 Envoy Proxy 1.20.6 Jaeger 1.36 Kiali 1.48.2-1 1.2.2.2.2. 复制路由标签 在这个版本中，除了复制注解外，您还可以为 OpenShift 路由复制特定的标签。Red Hat OpenShift Service Mesh 将 Istio 网关资源中存在的所有标签和注解（从 kubectl.kubernetes 要启用这个功能，请在 ServiceMeshControlPlane 中为 Istiod 容器设置以下环境变量： 使用 SameNamespace 或 All 设置在 Gateway API 监听器上限制路由附加功能可能。Istio 会忽略 listeners.allowedRoutes.namespaces 中标签选择器的使用，并恢复到默认行为 (SameNamespace)。 1.2.2.5. Red /user/profile#section1 的请求绕过拒绝策略并路由到后端（通过规范的 URI path /user/profile%23section1），可能会导致安全事件。 如果您使用带有 DENY 操作和 operation.paths 的授权策略，或者 ALLOW 操作和 operation.notPaths，则会受到此漏洞的影响。 在这个版本中，在授权和路由前会删除请求的 URI 片段部分。这可以防止其

RED HAT OPENSHIFT SERVICE MESH 上部署应用程序 4.2. 为服务网格配置分布式追踪 4.3. 应用程序示例 4.4. KIALI 教程 4.5. 分布式追踪 4.6. 自动路由创建 第 第 5 章 章 SERVICE MESH 用 用户 户指南 指南 5.1. 流量管理 第 第 6 章 章 支持 支持 6.1. 为红帽支持收集 RED HAT OPENSHIFT SERVICE OperatorHub 安装 Elasticsearch 、Jaeger 、Kiali 和 Service Mesh Operators。 您可以创建并指定 control plane 模板。 这个版本删除了自动路由创建功能。 1.4. 已知问题 Red Hat OpenShift Service Mesh 中存在以下限制： Red Hat OpenShift Service Mesh 不支持 IPv6 ，因为上游 网关流量。如果 您将 ingress 网关配置为使用 80 或 443 以外的端口号处理 TCP 流量，作为临时解决方案，您必 须使用 AWS 负载均衡器提供的服务主机名，而不是使用 OpenShift 路由器。 1.5.2. Kiali 修复的问题 KIALI-3239 如果一个 Kiali Operator pod 失败且状态为 “Evicted”，它会阻塞 Kiali operator 的部 署。解决办法是删除被逐出的

后续步骤 第 第 6 章 章 为 为用 用户 户定 定义 义的 的项 项目 目启 启用警 用警报 报路由 路由 6.1. 了解用户定义的项目的警报路由 6.2. 为用户定义的项目启用警报路由 6.3. 授予用户权限来为用户定义的项目配置警报路由 6.4. 为用户定义的项目禁用警报路由 6.5. 后续步骤 第 第 7 章 章 管理指 管理指标 标 7.1. 了解指标 7.2. 为用户定义的项目设置指标集合 接收的警报。Alertmanager 还负责将警报发送到外部通知系统。 警 警报规则 报规则 警报规则包含一组概述集群中特定状态的条件。当这些条件满足时会触发警报。可为警报规则分配一 个严重性来定义警报的路由方式。 Cluster Monitoring Operator Cluster Monitoring Operator (CMO) 是监控堆栈的核心组件。它部署和管理 Prometheus 实例，如 因为不能保证向后兼容性。 注意 注意 Alertmanager 配置作为 secret 资源部署在 openshift-monitoring 项目中。要为 Alertmanager 配置额外的路由，您需要对该 secret 进行解码、修改，然后再进行 编码。该程序是对前述声明的一个受支持例外。 修改堆 修改堆栈 栈的 的资 资源。 源。OpenShift Container Platform

图
1-1
API7
架构图
上图为
API7
产品中控制平⾯（简称
CP）与数据平⾯（简称
DP）的架构⽰意图，并包含了3个部分：
API
⽹关
1. ⽤于承载并处理业务流量，管理员在配置路由规则后，⽹关将根据预设规则将请求转发⾄上游服务。 此外，借助
API7
内置的
50
多种插件，可实现⾝份验证、安全防护、流量控制、分析监控、请求/响应 转换等常⻅业务需求；若内置插件⽆法满⾜需 实现对路由、上游、证书、全局插件、消 费者等资源的管理。 控制⾯板 3. 为了简化⽹关管理，管理员可以通过
Dashboard
控制⾯板以可视化形式操作⽹关，⽀持监控分析、⽇ 志审计、多租⼾管理、多集群切换、多⼯作分区等能⼒。 1.1
技术架构
数据平⾯ 1. 数据平⾯⽤于接收并处理调⽤⽅请求，使⽤
Lua
与
Nginx
动态控制请求流量。当请求进⼊时，将根据 预设路由规则进⾏ 能⼒根据 预设规则中不同插件的配置，使⽤⼀系列插件对请求从进⼊到离开的各个阶段进⾏操作。例如：请求 可能会经过⾝份认证（避免重放攻击、参数篡改等）、请求审计（请求来源信息、上游处理时⻓ 等）、路由处理（根据预设规则获取最终上游服务地址）、请求转发（⽹关将请求转发⾄上游⽬标节 点）、请求响应（上游处理完成后，⽹关将结果返回给调⽤⽅）等⼏个步骤。 控制平⾯ 2. 控制平⾯包含了
Manag

REGISTRY OPERATOR 在可用区间分布 2.4. 其他资源 2.5. IMAGE REGISTRY OPERATOR 配置参数 2.6. 使用 CRD 启用 IMAGE REGISTRY 默认路由 2.7. 为镜像 REGISTRY 访问配置额外的信任存储 2.8. 为 IMAGE REGISTRY OPERATOR 配置一个存储凭证 2.9. 其他资源 第 第 3 章 章 设 设置和配置 Limit 详情。控制在把请求放入队列前，registry 实例可以并行处理 的请求数量。 defaultRoute 确定是否使用默认主机名定义外部路由。如果启用，该路由将会对加密进行重新 加密。默认值为 false。 Routes 要创建的其他路由。您需要提供路由的主机名和证书。 OpenShift Container Platform 4.12 容器 容器镜 镜像 像仓库 仓库（ （Registry） registry 部署定义 rollout 策略。默认为 RollingUpdate。 replicas registry 的副本数量。 disableRedirect 控制是否通过 registry 路由所有数据，而不是重定向到后端。默认值为 false。 spec.storage.manage mentState 在 AWS 或 Azure 的安装程序置备的基础架构中的新安装或升级的集群 中，Image