## 基于Consul的多Beats接入管控与多ES搜索编排 梁成 腾讯云, barryliang@tencent.com ## 拥抱开源、释放云原生的力量 背景与挑战 多Beats/Logstash接入管控 多ES搜索编排系统 日志AIOps探索 ## 背景与挑战 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何帮助业务快速排障 如何提供方便便捷的性能分析调优能力 100+ 产品数量 ## 1000 人员规模 10000 主机规模 ## 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准化、界面化、自动化的日志接入方案 ## 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 异常快速定位 ## 准 - 关联公司CMDB - 资源权限管理 - 配置灰度控制发布 - 配置一致性检测 - 日志覆盖率 ## 案例:如何管控整个日志数据流相关资源性能与容量？ Agent运行时监控 Beats cpu/mem管控 日志延时分析 ⽇志覆盖率分析 ES/kafka容量管理 ![Image](/uploads/documents/2/c/4/c/2c4c7872

Protocol Adapter Service Service Service Data Plane HW Proxy Proxy Proxy ## 通过Service Mesh控制面统一管理F5和Envoy  ## App 解决类似的问题：运维和通信的问题 • 相似的解决方案：数据面+控制面+应用 不同的协议层次：SDN 2-4层，Service Mesh 主要为7层 ## SDN对Service Mesh发展的启发： ## 北向接口 • 面向业务和运维 具有较高的抽象层次，比较容易提取统一的控制面标准？ • 主要面向layer 7及以上？ • SMI能否统一控制面标准？如何避免成为最小公分母，扩展支持其它协议？ ## 建议：对xDS接口进行改进，去掉实现相关内容 ## Service Mesh的发展 • 控制面对数据面软硬件的统一控制能力？ • 通过控制面API接入各种丰富的应用场景 - 下一个热点？ ## 总体架构-高层视图 灰度发布 APP: Canary Deployment APP ... Jaeger 管控规则 Pilot Mixer MSB-SDClient MSB-Consul

··· 755 8.5 使用资源管控 (Resource Control) 实现资源隔离 ··· 757 8.5.1 使用场景 ··· 757 8.5.2 使用限制 ··· 758 8.5.3 什么是 Request Unit (RU) ··· 758 8.5.4 相关参数 ··· 759 8.5.5 使用方法 ··· 760 8.5.6 关闭资源管控特性 ··· 767 8.5.7 10.5 TiKV 监控指标详解 ··· 2764 14.10.6 TiFlash 集群监控 ··· 2786 14.10.7 TiCDC 详细监控指标 ··· 2789 14.10.8 资源管控 (Resource Control) 监控指标详解 ··· 2794 14.11 安全加固 ··· 2796 14.11.1 为 TiDB 客户端服务端间通信开启加密传输 ··· 2796 14 INDEX</code> 和 <code>IMPORT INTO</code> 等操作将更快速灵活、稳定可靠，且运行成本较低。</td> <td>资源管控支持<a href=" https:="" docs.pingcap.com="" zh="" tidb="" v7.5="" tidb-resource-control#管理后台任务="" →=""

OpenSergo:下一代微服务治理标准与实践 赵奕豪（宿何） 阿里云 云原生技术专家，Sentinel & OpenSergo 负责人 Why 微服务治理？ 01 服务治理核心能力与原理揭秘 02 服务治理控制面与标准规范 03 未来展望 04 01 Why 微服务治理？ ’ alt=‘OCR图片’/> 现代微服务架构的挑战 用好微服务的挑战：稳定性 ’ alt=‘OCR图片’/> 现代微服务架构演进 端云互联 开发环境隔离 服务压测 变更态 无损下线 无损上线 金丝雀发布 A/B Test 全链路灰度 运行态 稳定性 应用自身稳定性风险 不确定流量（流控、热点防护） 不稳定调用（熔断、隔离） 不稳定架构与基础设施（容灾多活） 安全 服务鉴权 服务零信任 Kratos CloudWeGo 服务框架 据调研数据 70%的线上问题都是由于变更导致的 流量控制 保障接口流量处于正常容量以内，多余流量进行拒绝或平滑 系统保护 自适应系统过载保护，基于系统指标与实时容量 并发控制 精准控制并发请求数，避免过多的慢调用占满线程池导致服务不可用 熔断降级 热点防控 针对不稳定的弱依赖服务自动进行熔断，或提前降级 针对自动识别的热点参数值进行流量控制，避免热点流量占用过多资源 失败重试 针对指定的非致命错误异常自动重试，最大限度避免系统抖动 ’ alt=‘OCR图片’/>

支流科技 API 网关产品（以下简称 API7）是基于 Apache 软件基金会顶级项目 Apache APISIX 构建的，包含了 API 网关、ManagerAPI 与 Dashboard 控制面板 3 个组件。 API 网关作为微服务架构中重要组件，是流量的核心出入口，用于统一处理和业务相关的请求，可有效解决海量请求、恶意访问等问题，以保障业务安全性与稳定性。 ![Image](/up Manager API 用于管理 API 网关，通过访问其暴露的 RESTful API 接口以实现对路由、上游、证书、全局插件、消费者等资源的管理。 ### 3. 控制面板 为了简化网关管理，管理员可以通过 Dashboard 控制面板以可视化形式操作网关，支持监控分析、日志审计、多租户管理、多集群切换、多工作分区等能力。 ### 1.1 技术架构 ### 1. 数据平面 数据平面用于接收并处理调用方请求，使用 Watch 机制，配置将在网关中实时生效。例如：管理员可增加一条路由，并配置限速插件，当触发到限速阈值后，网关将会暂时阻止后续匹配到该路由的请求进入。借助 ETCD 的 Watch 机制，当管理员在控制面板更新配置后，API7 将在毫秒级别内通知到各个网关节点。 ### 3. 其它 从图 1-1 可见，API7 采用了数据平面与控制平面分离的架构方式，通过配置中心接收、下发配置，使得数据平面不会受到控制平面影响。配置中心默认为

## 理想的服务网格 业务无感知 可观测 安全管控 落地成本低 资源消耗低 动态且增量配置 跨集群部署 易于扩展 性能损耗低 按需下发配置 流量精细化管理 ## 理想的服务网格 整体使用体验上 - 学习和上手成本低 • 社区开放、活跃度高 且快速响应 ## 理想的服务网格 控制面 • 易于上手 • 权限安全管控 • 配置方式被大众接受 ## 理想的服务网格 数据面 支持多种协议，甚至是自定义协议 • 性能损耗低 • 资源占用在可控范围 启动速度快 • 方便定位问题 • 扩展能力强 ## APISIX 在 Service Mesh 上的尝试 ## 控制面的抉择 控制面 – 拥抱 Istio • Istio 是当前最为流行的服务网格方案 · 社区活跃 · 几乎所有主流云厂商都对 istio 有支持 · 基于 istio 做商业支持的公司也很多，比如 [Image](/uploads/documents/0/d/7/2/0d72e1bb91be6aec5a918a3d31a4363b/p16_2.jpg) ## Apache APISIX ·高性能云原生网关 · 数据面和控制面分离 · 强大的扩展能力 ·丰富的生态集成 ![Image](/uploads/documents/0/d/7/2/0d72e1bb91be6aec5a918a3d31a4363b/p17_2

1daac/p29_2.jpg) ## 功能描述 ## 高可用 针对 MGR 进行了大量改进和提升工作，新增支持地理标签、仲裁节点、读写节点可绑定动态 IP、快速单主模式、智能选主，并针对流控算法、事务认证队列清理算法、节点加入 & 退出机制、recovery 机制等多项 MGR 底层工作机制算法进行深度优化，进一步提升优化了 MGR 的高可用保障及性能稳定性。 - 支持地理标签特性，提升多机房架构数据可靠性。 支持仲裁节点特性，用更低的服务器成本实现更高可用。 - 支持读写节点动态 VIP 特性，高可用切换更便捷。 - 支持快速单主模式，在单主模式下更快，性能更高。 - 支持智能选主特性，高可用切换选主机制更合理。 - 采用全新流控算法，使得事务更平稳，避免剧烈抖动。 - 优化了节点加入、退出时可能导致性能剧烈抖动的问题。 - 优化事务认证队列清理算法，高负载下不复存在每 60 秒性能抖动问题。 - 解决了个别节点上磁盘空间爆满时导致 Kiran 提供了操作系统的用户界面，包括了用户登录、桌面图标、控制面板、系统面板、文件管理器、桌面应用等功能。 - 用户登录：Kiran 提供用户名和密码登录功能，在输入框输入用户名 -> 回车 -> 输入密码后回车进行登录。同时 Kiran 还具备多因子登录认证功能，用户可选择认证的类型有指纹、指静脉、Ukey、虹膜和人脸，在控制面板 -> 认证管理可录入信息，并配置是否启用。 •

、PaaS和ServiceMesh） ## 数字化转型下的趋势与挑战 ## 各行业IT应用系统不断丰富与创新 数据化运营 大数据 智能化管控 协作平台 移动互联网 扁平化 轻量化 碎片化 ↑ 管理监控 领导查询 项目进度、费用、质量等管控 流程规范 数据表单化、业务流程化 信息管理 经营、项目、成果等信息采集、查询 1、信息管理 MIS、ERP... 2、流程规范BPM、EAI 努力下，也形成了叫做UDPA（Universal Data Plane API）的标准，使得在不同场景下的数据面在API层面达成统一，比如云端Mesh和边缘Mesh由于API的统一，可以使用统一的控制面（配置下发管理）来实现统一管理和统一服务化抽象，并向应用角度抽象，降低用户使用成本。 服务发现 服务发现 网络堆栈 网络堆栈 ## ServiceMesh—2 ## 上文提到了Serv 设施碎片化问题。 ## ServiceMesh-4-新发展-服务网格编排平台 上文提到了UDPA，它在数据面上进行了统一接口的努力，而控制面抽象并没有标准，目前大家都采用Istio的控制面，Istio的设计上还是略显复杂，而其他厂商的控制面存在差异，所以控制面也想基于统一的愿望做到简化部署、更加抽象简化的使用方式迈进。一家叫做Gloo.io的公司开始这方面的尝试！ ![Image](/uplo

间、Server 与 SDK 间高效通信问题。 容量管理：管理每个租户，分组下的容量，防止存储被写爆，影响服务可用性。 • 流量管理：按照租户，分组等多个维度对请求频率，长链接个数，报文大小，请求流控进行控制。 • 缓存机制：容灾目录，本地缓存，Server 缓存机制，是 Nacos 高可用的关键。 启动模式：按照单机模式，配置模式，服务模式，DNS 模式模式，启动不同的模块。 一致性协议： 65e511b517/p21_1.jpg) 那么如何能够做到服务不重启就可以修改配置？所有就产生了四个基础诉求： - 需要支持动态修改配置 - 需要动态变更有多实时 - 变更快了之后如何管控控制变更风险，如灰度、回滚等 • 敏感配置如何做安全配置  ## 客户端随机 客户端在启动时获取服务列表，按照随机规则进行节点选择，逻辑比较简单，整体能够保持随机。 ## 服务端柔性调整 - (当前实现版本)人工管控方案：集群视角的系统负载控制台，提供连接数，负载等视图(扩展新增连接数，负载，CPU等信息，集群间report同步)，实现人工调节每个Server节点的连接数，人工触发reblance，人工削峰填谷。

Service Mesh 演进 /02 混合云架构落地实践 /03 规划与展望 ## 严选ServiceMesh演进 · 使用 Consul 作为服务发现组件 · 数据面：cNginx · 控制面：Consul 管理后台  ## 服务治理能力 为多语言栈提供了服务治理能力 ## 持续演进的诉求 · 提供高质量的服务治理能力 · 增强流量管理能力 · 将更多治理特性（如限流、熔断、故障注入）与业务架构解耦 · 支持更多的协议 · 增强控制面 · 配合业务容器化上云及混合云架构 Service Mesh 概念正式提出 2016年9月29日第一次被公开提出 ![Image](/uploads/documents/3/a/7/5/3a - Istio 以 Sidecar 的形式运行在 Pod 中，自动注入，自动接管流量，部署过程对业务透明 • 提供了完整的 Service Mesh 解决方案 · 数据面：Envoy • 控制面：Pilot, Mixer, Citadel, Galley ![Image](/uploads/documents/3/a/7/5/3a75d07bb8bc3b9306b297c186e7db5e/p10_2