基于Consul的多Beats接入管控与多ES搜索编排## 基于Consul的多Beats接入管控与多ES搜索编排 梁成 腾讯云, barryliang@tencent.com ## 拥抱开源、释放云原生的力量 背景与挑战 多Beats/Logstash接入管控 多ES搜索编排系统 日志AIOps探索 ## 背景与挑战 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何帮助业务快速排障 如何提供方便便捷的性能分析调优能力 100+ 产品数量 ## 1000 人员规模 10000 主机规模 ## 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准化、界面化、自动化的日志接入方案 ## 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 从Consul中获取当前agent的配置组列表,并启动多个采集进程 ## 配置变更感知 watch到Consul对应的agent id路径,实时感知配置变化,并对启动的进程列表做重启清理等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源  # OpenShift Container Platform 4.9 网络 配置和管理集群网络 Powered by TCPDF (www.tcpdf.org) 配置和管理集群网络 ## 法律通告 Copyright $ ^{©} $ 2023 Red Hat, Inc. The text of and illustrations their respective owners. ## 摘要 本文档提供有关配置和管理 OpenShift Container Platform 集群网络的说明,其中包括 DNS、Ingress 和 Pod 网络。 ## 目录 第1章 了解网络 ..... 6 1.1. OPENSHIFT CONTAINER PLATFORM DNS ..... 6 1.2. OPENSHIFT CONTAINER OPERATOR ..... 6 1.3. OPENSHIFT CONTAINER PLATFORM 网络的常见术语表 ..... 7 第2章 访问主机 ..... 10 2.1. 访问安装程序具备的基础架构集群中 AMAZON WEB SERVICES 上的主机 ..... 10 第3章 网络 OPERATOR 概述 ..... 11 3.1. CLUSTER NETWORK OPERATOR0 码力 | 388 页 | 4.04 MB | 2 年前3
OpenShift Container Platform 4.6 网络a80ca8ce48677415ee9b4/p1_1.jpg) # OpenShift Container Platform 4.6 网络 配置和管理集群网络 Powered by TCPDF (www.tcpdf.org) ## 配置和管理集群网络 Enter your first name here. Enter your surname here. Enter your organisation's their respective owners. ## 摘要 本文档提供有关配置和管理 OpenShift Container Platform 集群网络的说明,其中包括 DNS、Ingress 和 Pod 网络。 ## 目录 第1章 了解网络 ..... 10 1.1. OPENSHIFT CONTAINER PLATFORM DNS ..... 10 1.2. OPENSHIFT CONTAINER ..... 10 第2章 访问主机 ..... 12 2.1. 访问安装程序具备的基础架构集群中 AMAZON WEB SERVICES 上的主机 ..... 12 第3章 网络 OPERATOR 概述 ..... 13 3.1. CLUSTER NETWORK OPERATOR ..... 13 3.2. DNS OPERATOR ..... 13 3.3. INGRESS0 码力 | 256 页 | 2.78 MB | 2 年前3
OpenShift Container Platform 4.13 网络4fb6b5579fc21e63b8a5dd/p1_1.jpg) # OpenShift Container Platform 4.13 网络 配置和管理集群网络 Powered by TCPDF (www.tcpdf.org) 配置和管理集群网络 ## 法律通告 Copyright $ \copyright $ 2024 Red Hat, Inc. The text of and respective owners. ## 摘要 本文档提供有关配置和管理 OpenShift Container Platform 集群网络的说明,其中包括 DNS、Ingress 和 Pod 网络。 ## 目录 第1章 关于网络 ..... 8 第2章 了解网络 ..... 9 2.1. OPENSHIFT CONTAINER PLATFORM DNS ..... 9 2.2. OPENSHIFT OPERATOR ..... 9 2.3. OPENSHIFT CONTAINER PLATFORM 网络的常见术语表 ..... 10 第3章 访问主机 ..... 13 3.1. 访问安装程序具备的基础架构集群中 AMAZON WEB SERVICES 上的主机 ..... 13 第4章 网络 OPERATOR 概述 ..... 14 4.1. CLUSTER NETWORK OPERATOR0 码力 | 697 页 | 7.55 MB | 2 年前3
Cilium的网络加速秘诀## cilium的网络加速秘诀 蓝维洲 2021.10.16 Kubernetes Community Days ## 演讲人 ## 手 Kubernetes Community Days  蓝维洲 网络组研发负责人 ## cilium介绍 的 CNI 网络解决方案,创新采用了 eBPF datapath,为 kubernetes 网络和 linux 社区的 eBPF 发展,启动了最要的推动作用。 截止 2021.10 , cilium github 项目已有 9.3K star,Contributors 316位 cilium的特色功能: • 网络功能 • 负载均衡 • 网络安全 • 可观察性 • 多集群连通 注:本 发布 成为 kubernetes 网络解决方案 2019.8 cilium 1.6 发布 kube proxy replacement 2019.11 cilium–hubble 发布 cilium 1.8 发布 开始出现 XDP 的 service 负载均衡,极大提升性能 2020.8 google正式采纳 cilium 作为 GKE产品的网络方案 截止2021.10, cilium0 码力 | 14 页 | 11.97 MB | 1 年前3
TypeScript 多场景设计方案及应用实践## TypeScript 多场景开发实践 Best practices of TypeScript and Dev in Alibaba ## 陈仲寅(花名:张挺) 就职于 阿里巴巴淘宝技术部 MidwayJS 团队  zhangting@taobao Controller { async create() { // TODO } } module.exports = PostController; class 用法,无法多继承 ## 体验不同 Egg 解决的是 BFF 场景,而淘宝有不少全栈场景 杂糅的 app/ctx 合并机制 ## 第一代设计 ## 解决复杂问题 ## 尝试引入 IoC 解决复杂业务的问题 ## Function 2、多实现上的不一致 - 无法方便的继承 3、代码洁癖上的问题 - 编译目录分离 ## Tes ## CLASS ## 体验 ## 统一使用 class/interface 为了良好的使用 IoC,我们将整个 Midway 修改为了 OO 的模型,所有的东西都通过 class 来编码,这样也可以更好的借鉴 java 的思想,另一方面可以通过接口来解决多实现的架构。 ## ☐0 码力 | 95 页 | 8.28 MB | 2 年前3
多租户Kubernetes VM Solutions for Multi-Tenant Applications0 码力 | 33 页 | 3.34 MB | 1 年前3
分布式异地多活架构实践之路adb784517f8/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE # 讯飞输入法异地多活架构实践之路 凌 军 主办方 Geekbang. InfoQ 极客邦科技 ## 自我介绍 · 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 科大讯飞消费者BG基础平台架构负责人 4/4/f244e3e91d6c76afe0bdeadb784517f8/p3_1.jpg) 来自:中国科学院《互联网周刊》 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 ## 可用性低  ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 ## 技术挑战 ## 机房天然延迟 几十毫秒的延迟; 跨机房性能较慢 ## 跨机房专线问题 专线费用高; 专线不稳定0 码力 | 36 页 | 1.66 MB | 2 年前3
云原生开放智能网络代理 MOSN## 云原生开放智能网络代理 MOSN 金融级云原生架构助推器 肖涵(涵畅) 蚂蚁金服高级技术专家 SOFAMosn 项目负责人 ZooKeeper ## Kubernetes Ingress Controller Service Mesh 控制面 Pilot Galley 访问请求 多协议接入 TLS,国密 MOSN WAF, DDoS 多种服务注册中心 SOFA Registry Registry Nacos Etcd 模块化 安全 智能 高性能 多协议 ☑ 可扩展 精细化路由 安全防护 可运维 • TCP、Http、SOFA 网络包过滤器 · 多版本发布 协议包过滤器 • 压测引流 协议扩展 加密链路 · 服务分组 可观测性扩展 · 国密算法 • 服务鉴权 - 透明劫持 - 平滑升级 - 可观测性 路由扩展 集群管理扩展 Demo 安全审计 ## 多协议 更多的协议及服务框架支持Dubbo、SpringCloud、RocketMQ、gRPC、HTTP3、MQTT、QUIC、TLS1.3等 ## 多场景 支持 K8s Ingress, Edge Proxy、Mesh Sidecar, Api Gateway 等多种代理形态 ## 核心和开放能力 支持模块化 自适应限流 多协议深度扩展能力 多进程 WAF0 码力 | 12 页 | 1.39 MB | 1 年前3
蚂蚁金服网络代理演进之路Service Mesh Meetup #7 成都站 ## 蚂蚁金服网络代理演进之路 肖涵(涵畅) 蚂蚁金服高级技术专家 2019.10.26  ## Maglev IPvs Katran ## 品 ☐ ☑ ## GFE BFE BFE TGW Nginx Apache httpd ## SOFAMosn Envoy Linkerd ## 网络的挑战 11.11 天猫全球狂欢节 2017 全球支付总笔数 14.8亿同比增长41% 支付峰值 为去年的2.1倍 25.6万笔/秒 中国自主研发数据库OceanBase处理峰值 4200万次/秒 蚂蚁金服ANTFINANCIAL 支付宝ALIPAY ## 中国年福气年 高效接入 访问加速 ## 灵活弹性 安全合规 防攻击 蚂蚁金服网络接入十年变迁 万物互联云原生时代 ↑ 移动时代 ↑ PC时代 再启程 2018 年协议,安全持续升级(QUIC,MQTT,国密), 云原生 All in 无线 2015 年无线通道协议,安全升级, 连接收编 自研 2010 开始网络代理白盒化,定制业务逻辑,软硬件一体解决方案 前世 2010年前部署商用设备0 码力 | 46 页 | 19.93 MB | 1 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100
相关搜索词
ConsulBeatsLogstashElasticsearch多ES搜索编排OpenShift SDNOVN-Kubernetes网络策略网络隔离CNI多网络SR-IOVOpenShift Container Platform网络 OperatorCNI 网络插件网络隔离模式Multus CNI 插件eBPFCiliumDSR模式XDPnodePortTypeScriptEgg框架MidwayJS团队阿里巴巴BFF场景KubernetesVMKubeVirtVirtletMulti-Tenant分布式异地多活架构系统扩容弹性伸缩流量调度数据同步MOSNService Mesh云原生高性能金融级架构SOFAMosnGolang网络代理国密算法













