基于Consul的多Beats接入管控与多ES搜索编排1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 并向Master发起Agent注册逻辑,获取agent id 配置获取 从Consul中获取当前agent的配置组列表,并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径,实时感 知配置变化,并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 获取master列表0 码力 | 23 页 | 6.65 MB | 1 年前3
 (四)基于Istio on Kubernetes 云原生应用的最佳实践 - Alibaba Cloud K8S Playground准备Kubernetes集群 阿⾥里里云容器器服务Kubernetes 1.10.4⽬目前已经上线,可以通过容器器服务管理理控制台⾮非常⽅方便便地快速创建 Kubernetes 集群。具体过 程可以参考创建Kubernetes集群。 安装和设置kubectl客户端,请参考不不同的操作系统,如果已经安装完成请忽略略: macos 1 2 3 4 curl -LO https://kubectl.oss-cn-hangzhou 配置kubectl连接Kubernetes集群的配置,可参考⽂文档通过kubectl连接Kubernetes集群 示例例中⽤用到的⽂文件请参考: ⽂文件 , Clone下载到本地,切换到⽬目录kubecon2018sh。 查看本⽂文件: https://github.com/osswangxining/yunqi2018-workshop-istio/tree/master/kubecon2018sh (四)基于Istio on on Kubernetes 云原⽣生应⽤用的最佳 实践 2018-11-09 � 部署Istio 打开容器器服务控制台,在左侧导航栏中选中集群,右侧点击更更多,在弹出的菜单中选中 部署Istio。 在打开的⻚页⾯面中可以看到Istio默认安装的命名空间、发布名称; 通过勾选来确认是否安装相应的模块,注意勾选下Kiali Kiali; 点击 部署Istio 按钮,⼏几⼗十秒钟之后即可完成部署。0 码力 | 6 页 | 1.33 MB | 1 年前3
 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)中国联通网络安全研究院 下一代互联网宽带业务应用国家工程研究中心 2023 年 11 月 版权声明 本报告版权属于中国联合网络通信有限公司研究院,并受法 律保护。转载、摘编或利用其他方式使用本报告文字或者观点的, 应注明“来源:中国联通研究院”。违反上述声明者,本院将追 究其相关法律责任。 云原生安全威胁分析与能力建设白皮书 1 目 录 一、云原生安全概述.................... 敏感信息泄露攻击................................................................................22 2.2.5 针对镜像不安全配置的攻击................................................................ 22 2.3 路径 2:容器攻击................ ................................................................................... 28 2.4.4 集群环境下的横向攻击........................................................................29 2.4.5k8s 管理平台攻击.....0 码力 | 72 页 | 2.44 MB | 1 年前3
 24-云原生中间件之道-高磊RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的,环境变化也是碎片化的,而且其业务类型越来越多,比如已经延展到边 缘计算盒子,此时攻击面被放大,在云原生环境下安全是一个核心价值,需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力,导致传统安全实施方法、角色、流程、技术 都发生了很多变化,适应这些变化是落地云原生安全的关键! 标准化能力-承载无忧-E2E云原生纵深安全保障-2-商业价值 势》),基于2020年的产业实践和行业风向, 从政策法规、安全技术、安全理念、安全生态、安全思维等维度为产业互联网的安全建设提供前瞻性的参考和指引,助力夯实产业互联网的安全底座。 《趋势》认为,2021年将进一步完善个人信息保护体系,企业对个人信息利用规范化,数字安全合规管理将成为企业的必备能力。与此同时,企业还 应将安全作为“一把手工程”,在部署数字化转型的同时,推进安全前置。 前沿的数字化技术 技术在构筑数字大楼的同时,不仅带来了全新的安全场景,也成为网络安全攻防 当中的利器;2020年井喷的远程办公,拷问传统安全边界防线,让“零信任”这一有着十年历史的理念再次受到关注,成为企业构建后疫情时代安全体系 的基石;云上原生的安全能力让成本、效率、安全可以兼得,上云正在成为企业解决数字化转型后顾之忧的最优解…… 安全是为了预防资产损失,所以当安全投入 的成本大于能够避免的资产损失价值时,变0 码力 | 22 页 | 4.39 MB | 6 月前3
 09-harbor助你玩转云原生-邹佳云原生等相关领域的研究与创新。著有《Harbor权威指南》等 书籍。 >> Email: szou@vmware.com >> GitHub ID: steven-zou >> Slack: steven zou 目录 - 开场:云原生与制品管理 - 初识Harbor:云原生制品仓库服务 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 [1] 云原生(cloud-native)技术使组织能够在现代化和动态的环境下(如公有云、私有云 和混合云)构建和运行可扩展的应用程序。云原生典型技术包括容器、服务网络、 微服务、不可变基础设施和声明性API等。 v1.0 by CNCF 容器-更轻量级和灵活的虚拟化 镜像-应用软件打包与分发 OCI: https://opencontainers.org/ OCI制品(artifact):镜像,Helm Chart,CNAB,OPA bundle等等 云原生与制品管理 [2] Registry: •制品存储仓库 •分发制品的媒介 •访问控制与管理的节点 初识Harbor [1] 官方网站:goharbor0 码力 | 32 页 | 17.15 MB | 6 月前3
 SBOM 为基础的云原生应用安全治理为基础的 云原生应用安全治理 董毅@悬镜安全 一瓶“牛奶”——你会喝吗? 安全的保障——成分清单和监管机构 • 成分清单用于实现可见性(透明度) • 监管机构保障成分清单的可信度 软件物料清单 • 软件物料清单(SBOM, Software Bill Of Material)是代码库中所有开放源代码和第三方组件的清单。 • SBOM能够列出管理这些组件的许可证,代码库中使用的组件的版本及其补丁程序状态。 拟 化 > 容 器 化 聚焦到应用系 统风险源头 API安全性 失效的用户认证、安全性、错误配置、注入等 闭源组件 软件物料清单的描述 软件物料清单(SBOM, Software Bill Of Material)是云原生时代应用风险治理的基础设施。 特点: • 是治理第三方组件风险(开源+闭源)的必备工具; • 可深度融合于DevOps应用生产模式; • 可与多种DevS 效能(SCA、RASP、漏洞情报); • 在云原生应用的开发端及运营端均发挥作用。 实践现状 SBOM的应用现状 • 根据《Anchore 2022 软件供应链安全报告》,尽管 SBOM 在提供对云原生应用可见性方面 发挥着基础性作用,但只有三分之一的组织遵循 SBOM 最佳实践。 SBOM的应用现状 云原生基于“责任自负”的开源世界 云原生开源应用漏洞 OpenSCA扫描结果0 码力 | 30 页 | 2.39 MB | 1 年前3
 多云下的云原生之道multicloud0 码力 | 7 页 | 1.86 MB | 1 年前3
 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构,在开发、测试、运维 团队之间建成了认知的“墙”,团队间配合效 率低,故障排查慢,阻碍了软件价值的流动 率低,故障排查慢,阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时、按需扩展/收缩所 用资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 成本 新一代架构(微服务)应用的对承载平台提出新要求 传统实践中,主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配,短时间内难以扩展 • 缺乏隔离性,服务相互抢占资源 • 增加环境、网络(端口)和资源管理的复杂性,治理成本高 • 监控粒度难以满足微服务应用运维的需要,线上问题难以排查定位,往往需要研发介入0 码力 | 42 页 | 11.17 MB | 6 月前3
 consul 命令行advertise:广告地址用于将我们通告的地址更改为群集中的其他节点。默认情况下,-bind通告地 。但是,在某些情况下,可能存在无法绑定的可路由地址。此标志允许闲聊不同的地址以支持此功能 如果此地址不可路由,则该节点将处于恒定的振荡状态,因为其他节点将不可路由性视为故障。在Co sul 1.0及更高版本中,可以将其设置为 go-sockaddr 模板。 ● -advertise-wan:广告WAN地址用于将我们通告的地址更改为通过WAN加入的服务器节点。当与t 为通过WAN加入的服务器节点。当与t anslate_wan_addrs配置选项结合使用时,也可以在客户端代理上设置此选项。默认情况下,-adverti e通告地址。但是,在某些情况下,所有数据中心的所有成员都不能位于同一物理或虚拟网络上,尤 是混合云和私有数据中心的混合设置。此标志使服务器节点通过公共网络为WAN进行闲聊,同时使 专用VLAN互相闲聊及其客户端代理,并且如果远程数据中心是远程数据中心,则允许从远程数据中 中心,则允许从远程数据中 访问此地址时访问客户端代理。配置了translate_wan_addrs。在Consul 1.0及更高版本中,这可以 置为 go-sockaddr 模板 ● -bootstrap: 此标志用于控制服务器是否处于“引导”模式。重要的是,在此模式下,每个数据中 只能运行一台服务器。从技术上讲,允许自举模式的服务器作为Raft领导者自行选举。重要的是只有 个节点处于这种模式;0 码力 | 5 页 | 346.62 KB | 1 年前3
 25-云原生应用可观测性实践-向阳tion 阿里可观测性数据引擎的技术实践 https://mp.weixin.qq.com/s/0aVgtVCmBmtAgZE_oQkcPw © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力 3. 在混合云、边缘云中的实战 4. Talk is cheap Ltd. All rights reserved. 可观测性的成熟度模型 1.0 基础支柱 2.0 ? 3.0 ? simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1.0 支柱:基础的可观测性要素 Metrics, tracing, and logging simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 开箱即用的解决方案 Metrics, tracing, and logging 2017.02.21 Peter Bourgon simplify the growing complexity0 码力 | 39 页 | 8.44 MB | 6 月前3
共 36 条
- 1
 - 2
 - 3
 - 4
 













