## 基于Consul的多Beats接入管控与多ES搜索编排 梁成 腾讯云, barryliang@tencent.com ## 拥抱开源、释放云原生的力量 背景与挑战 多Beats/Logstash接入管控 多ES搜索编排系统 日志AIOps探索 ## 背景与挑战 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何帮助业务快速排障 如何提供方便便捷的性能分析调优能力 100+ 产品数量 ## 1000 人员规模 10000 主机规模 ## 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准化、界面化、自动化的日志接入方案 ## 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 watch到Consul对应的agent id路径，实时感知配置变化，并对启动的进程列表做重启清理等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源  [root(__~]# cat /

## Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io ## Agenda • Greenplum数据库 • Resource Queue • Resource Group ## Greenplum数据库 • 基于PostgreSQL • 分布式 • OLAP • MPP(Massively Parallel Processing) ## Greenplum数据库 优化器不能被纳入资源管理器 ## Resource Queue ## • Priority is rough – 不能精确控制CPU - CHECK FOR INTERRUPTS – BackoffBackendTick – sweeper process (backoff.c) ## Resource Queue ## • Memory – Chaotic – 没有严格资源隔离 – 第三方库的malloc Resource Group • SQL语句并发控制 => 事务并发控制 ·基于cost的并发控制 • 基于优先级的CPU控制 => 精确CPU比例 • 内存控制 => 严格资源隔离 ## Running Example • CREATE RESOURCE Group rg WITH ( concurrency=1, cpu_rate_limit=.5,

··· 755 8.5 使用资源管控 (Resource Control) 实现资源隔离 ··· 757 8.5.1 使用场景 ··· 757 8.5.2 使用限制 ··· 758 8.5.3 什么是 Request Unit (RU) ··· 758 8.5.4 相关参数 ··· 759 8.5.5 使用方法 ··· 760 8.5.6 关闭资源管控特性 ··· 767 8.5.7 Dashboard Top SQL 页面 ··· 965 10.3.4 定位消耗系统资源多的查询 ··· 971 10.3.5 使用 PLAN REPLAYER 保存和恢复集群现场信息 ··· 973 10.3.6 理解 TiKV 中的 Stale Read 和 safe-ts ··· 979 10.4 支持资源 ··· 987 11 性能调优 ··· 987 11.1 优化手册 ··· 987 14.10.5 TiKV 监控指标详解 ··· 2764 14.10.6 TiFlash 集群监控 ··· 2786 14.10.7 TiCDC 详细监控指标 ··· 2789 14.10.8 资源管控 (Resource Control) 监控指标详解 ··· 2794 14.11 安全加固 ··· 2796 14.11.1 为 TiDB 客户端服务端间通信开启加密传输 ··· 2796

## 金融级云原生 PaaS 探索与实践 王成昌（晙曦）蚂蚁金服技术专家 ## 目录 contents 一、业务背景 二、多集群管控 三、发布运维体系 ## 一、 业务背景 ## 业务架构 演进 容量 应用|数据库|机房 容灾 机房|地域 ![Image](/uploads/documents/a/6/8/3/a683d91e53053ec95a0ddefcaeb9e2d6/p4_2 大规模下基础设施稳定性 • 业务 Mesh 化 精细化流量控制 基础组件升级 业务可复制 业务敏捷 SaaS 面向站点级别输出 ## PaaS 能力 面向多租户多环境； • 基础资源管控; • 应用发布运维体系； • 业务实时监控，日志收集； • 机房级和地域级容灾能力； ## 云原生 PaaS 产品架构方案 业务架构 同城双活架构 两地三中心架构 异地多活架构 产品层 应急预案管理 ... ## 基础发布运维 批次发布 原生资源管理 Pod伸缩管理 集群伸缩管理 容器镜像管理 运维原子操作 ## 单元化能力 变更管控 接入层流程调拨 配额管理 精细化调度 数据层流量调拨 单元化 元数据管理 应用层流量调拨 压测/灰度流量管理 弹性流量管理 ## 跨集群管理 跨集群应用资源管理 跨集群状态分发/汇聚 跨集群发布策略 跨集群网络

|沟通效率|低|高| |技术栈选择|受限|灵活| |可扩展性|受限|灵活| |可重用性|低|高| |实现业务复杂性分解难度|困难|容易| |产品创新复杂度|困难|容易| |一致性实现成本|低|高| |时延|低|高| |资源成本|低|高| |关联查询复杂度|简单|复杂| |远程调用|不涉及|涉及| |服务治理|不涉及|涉及| |对开发人员的要求|低|高| |对工具的依赖|较低|较高| |运维复杂度|低|高| ## 微服务架构的第一大问题——如何拆分微服务？ 和模型/模型实例的关联关系，因此被自动划分到独立服务中 ## 微服务架构下，API管控的挑战 • API在微服务架构下爆炸性增长 • 移动互联网、物联网 • API是技术leader和架构师的控制力，API==契约 • API First，解耦各个服务的开发者 ## ServiceStage契约管理工具—管控分离 $ ^{*} $ 应用设计名称 model-sc8345 $

云+社区技术沙龙 ## 腾讯云提高K8S集群资源利用率实践 庄鹏锐 腾讯云高级工程师 ## 资源利用率分析 Node节点资源碎片 Pod Resource（requests）配置不合理 WorkLoad/HPA 副本数设置不合理 业务空闲时间 ## 解决方案 ## Pod 压缩 ## HPA ## 动态调度 Node 超卖 VPA 碎片处理 ## Pod 资源压缩  关注云加社区公众号

浙江壳牌燃油有限公司 浙江日报传媒有限公司 浙江省交通规划设计研究院有限公司 浙江数链科技有限公司 浙江绍兴瑞丰农村商业银行股份有限公司 浙江绍兴苏泊尔家居用品有限公司 浙江省银行业协会 浙江中控技术股份有限公司 招联消费金融有限公司 中山大学附属第七医院（深圳） 浙商银行股份有限公司 卓望数码技术（深圳）有限公司 中移（杭州）信息技术有限公司 ## 客户口碑 ## 客户评价 ! 无侵入式接入，提供注册发现、路由分流、熔断限流等丰富治理能力。 ## 异构应用统一治理 多框架、多协议、多语言服务的统一治理，避免技术栈重复建设。 支持不同维度的流量治理，并具备丰富的流量管控能力。 ## 精细化流量管控 ## 架构平滑演进 支持单体架构向微服务架构、微服务架构向服务网格架构平滑演进。 支持异构协议转换为 HTTP 协议 RESTFUL 接口，具备请求转换能力，有效集成企业存量应用。 可满足95%业务研发需求 开发速度慢、周期长效率低下人员成本高 可灵活集成 公司现有研发资源 通常自行管理代码、安装包等、耗费人力 ## 轻舟中间件 提供企业已有主机中间件和基于 Kubernetes 构建的云原生中间件生命周期管理和自动化运维能力的 PaaS 平台。 ## 产品能力 ## 生命周期管理 丰富的中间件及统一的管控平台，支持全生命周期的运维操作。 ## 基于开源自主可控 基于社区开源

I，完成各种复杂场景的数据处理，业务开发周期短，现存的代码基本可以无缝迁移和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容，属于信创产业。支持公有云，可充分利用云资源的弹性能力。组件少，提供可视化管理平台，运维管理简单，通过短暂学习即可掌握，无论是原厂商还是生态合作伙伴都可以直接提供技术服务，7*24的安心保障。 ## hadoop 是一个存储系统+计算框架 持，可以很好地完成各种业务场景的数据处理需求。但是对于开发的要求比较高，需要掌握多种组件的不同使用方法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也无法直接利用云资源的弹性能力。组件太多，导致集群部署和后期运维管理很麻烦，市场上相关人才储备量不多，技术兜底依赖于Cloudera，国内第三方公司主要是基础运维和开发为主。 ## PieCloudVector与LLM在私域知识库领域的应用实践路径 382/p14_1.jpg) 云原生数据库/虚拟数仓 ## $ \pi $ CloudDB（强逻辑计算） SQL语言实现的结构化数据上的模型计算 打破企业数据孤岛，整合企业所有表格类数据资源 ## 数仓虚拟化 ☐ 播报 ☐ 讨论 ☐ 上传视频 ★收藏 0 0 PieCloudDB产品技术 数仓虚拟化由拓数派（杭州拓数派科技发展有限公司，又称“OpenPie”）于2023年3月 $

临巨大挑战，急需一款数据库产品，帮助其最大化利用数据资产，降本增效，进行更智能高效的数据计算。 ## 数据库的未来在云上 随着云计算时代的到来，不仅使得计算成本极大地降低，也提供了无限丰富的计算资源，释放出数据计算产生智能的更多机会。早在2019年，Gartner便做出预测：数据库市场的未来在云上 $ ^{2} $ 。在2022年首次发布的《数据库中国市场指南》（Market Guide for 程中，传统 MPP 数据库解决方案迎来了一系列的瓶颈： 传统数据仓库的计算和存储是紧密耦合的，计算资源和存储资源按某一比例强绑定，因此用户在扩容时，必须同时扩容计算资源和存储资源，在扩缩容、运维、迁移上都存在一定的挑战。当企业遇到负载高峰时刻或需要紧急得到某个报表结果时，传统数据仓库无法及时扩资源，导致大数据系统无法弹性、快速地分析业务数据，错失了充分挖掘数据价值所带来的商业机会。 传统数据仓库 传统数据仓库价格高昂的软硬件、开发运维人员的高昂薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产环境资源利用率，无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长，面临数据库的扩容和升级时，由于传统数据仓库架构存储和计算的紧密耦合，往往需要企业花费巨大的运维和时间成本，且操作繁琐。 传统 MPP 数据仓库架构存在 “木桶效应”，集群整体执行速度取决于最 “短板的” 节点的性能。因此，一个节点的表现往往会