25-云原生应用可观测性实践-向阳APIGW/ … 问题2:观测盲点 KVM switch VM iptables POD envoy 服务 KVM switch VM iptables POD envoy 服务 开发兄弟们辛苦打桩 全链路到底有多全? 业务 开发 桩 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights / APIGW/ … KVM switch VM iptables POD envoy 服务 KVM switch VM iptables POD envoy 服务 端点:eBPF内核依赖 路径:全链路数据关联 © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力 零侵入的流量采集与分析 发送 零侵入的云原生应用可观测性 Flow 数据节点 云原生,水平扩展 监控数据 性能指标 调用日志 网络链路 由业务代码驱动的可观测性数据、云API数据 调用关系 知识图谱 链路追踪 黄金指标 关联 应用链路(Tracing) 应用日志(Logging) 应用链路 TraceID 私 有 云 物 理 公 有 云 企业混合云 控制器 10W采集器 20+云平台0 码力 | 39 页 | 8.44 MB | 6 月前3
构建统一的云原生应用 可观测性数据平台统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. OpenTelemetry的方法 统一的上下文 以追踪为核心 看云网更清晰 Simplify the growing complexity. OpenTelemetry的方法 Tag, Exemplars (TraceID, SpanID) Tag =canary group=iot owner=xian gyang 看云网更清晰 Simplify the growing complexity. AutoTagging:云原生知识图谱,微服务调用拓扑 看云网更清晰 Simplify the growing complexity. AutoTagging:关联、切分、下钻 √ 看云网更清晰 Simplify the growing complexity 零侵扰的采集与分析 发送 零侵扰的云原生应用可观测性 Flow 数据节点 云原生,水平扩展 监控数据 性能指标 调用日志 网络链路 由业务代码驱动的可观测性数据、云API数据 调用关系 知识图谱 链路追踪 黄金指标 关联 应用链路(Tracing) 应用日志(Logging) 应用链路 TraceID N F V 公 有 云 / 私 有 云 企业混合云 控制器 10W采集器 20+云平台0 码力 | 35 页 | 6.75 MB | 1 年前3
SBOM 为基础的云原生应用安全治理是治理第三方组件风险(开源+闭源)的必备工具; • 可深度融合于DevOps应用生产模式; • 可与多种DevSecOps工具链联动强化效能(SCA、RASP、漏洞情报); • 在云原生应用的开发端及运营端均发挥作用。 实践现状 SBOM的应用现状 • 根据《Anchore 2022 软件供应链安全报告》,尽管 SBOM 在提供对云原生应用可见性方面 发挥着基础性作用,但只有三分之一的组织遵循 SBOM h********r-main p********s-main c**********a-main 云原生时代下的软件供应链攻击 “到2025年,全球45%的组织会受到软件供应链攻击,比2021年增长三倍”——Gartner 云原生时代下的软件供应链攻击 软件供应链安全事件频发,“核弹级”第三方组件漏洞的影响面和危害大 2020 年12月,美国企业和政府网络突遭“太阳风 暴”攻击。黑客利用太阳风公司(SolarWinds) 月 13 日,美国政府 确认国务院、五角大楼、国土安全部、商务部、财 政部、国家核安全委员会等多个政府部门遭入侵。 该事件波及全球多个国家和地区的 18000 多个用 户,被认为是“史上最严重”的供应链攻击。 “太阳风暴”攻击 2021年8月,中国台湾芯片厂商Realtek 发布安全 公告称在其软件开发套件和WiFi模块中发现了4个 安全漏洞。、攻击者可利用该漏洞绕过身份验证, 并以最高权限运行恶意代码,有效接管设备。本次0 码力 | 30 页 | 2.39 MB | 1 年前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院).............................................................36 云原生安全威胁分析与能力建设白皮书 3 2.6.6 针对函数供应链的攻击........................................................................36 三、典型攻击场景分析........... 过去一年来,我们持续深耕云原生安全领域,联合多家单位共同编写了《云 原生安全威胁分析与能力建设白皮书》。白皮书从攻击者视角介绍了云原生所面 临的安全威胁,通过具体的实例展现攻击过程,给出云原生应用保护能力建设思 路,以期与行业同仁共同推动云原生安全落地发展。 最后,白皮书内容难免有疏漏,敬请读者批评指正。 云原生安全威胁分析与能力建设白皮书 8 编写单位: 中国联合网络通信有限公司研究院、联通数字科技有限公司、中国联通福建 云原生在改变了企业上云及构建新一代基础设施的同时,作为一项新兴技术 也带来了一系列新的问题,对企业原有的信息安全防护模式提出了新的挑战,例 如,微服务、容器运行时的短生命周期、CI/CD 全流程监控缺失、镜像及供应链 的复杂性等。另外,云原生技术生态涵盖基础设施到 DevOps 开发多个维度, 这打破了原有的信息安全视角。在应对不断出现的针对云原生基础设施、平台及 容器的安全威胁过程中,原有的安全体系也产生了变革。主要表现在如下几个方0 码力 | 72 页 | 2.44 MB | 1 年前3
23-云原生观察性、自动化交付和 IaC 等之道-高磊主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 • 从稳定性目标出发,首先需要有提示应用出问题的手段 • 当提示出现问题后,就需要有定位问题位置的手段,进 一步要有能够指出问题根因、甚至提前就预警的手段。 拓扑流量图:是不是按预期运行 分布式跟踪:哪些调用 故障或者拖慢了系统 监控与告警: 主动告诉我 问题发生了! 想 数据的全面采集 数据的关联分析 统一监控视图与展现 Metric 是指在多个连 续的时间周期 内用于度量的 KPI数值 Tracing 通过TraceId来 标识记录并还 原发生一次分 布式调用的完 整过程和细节 Logging 通过日志记录 执行过程、代 码调试、错误 异常微观信息 数据之间存在很多关联,通过 关联性数据分析可获得故障的 快速界定与定位,辅助人的决 策就会更加精确 发人员可以清晰的观测到整体分布式应用的详细运 行情况,为高精度运维提供可视化支撑 人工发展阶段:符合人分析问题的习惯 宏观->微观 精细化发展阶段:依靠数据赋能,加强可视化能力,进一步简化运维 监控告警 分布式跟踪链 日志查询 根因分析 响应动作 自动化 高端观察性 各维度统计分析 观察性 Prometheus Skywalking EFK Hadoop Spark Cortex .......0 码力 | 24 页 | 5.96 MB | 6 月前3
1.3 MOSN 在云原生的探索及实践11 规模化验证。借力开源、反哺开 源,进行 Cloud Native 生态融合,在实践的道路上一步步的走向云原生。 2018年3月 MOSN 诞生 支持 Service Mesh 核心支付链路覆 盖 MOSN 宣布独立运营 CNCF landscape V0.13.0 发布, 进行云原生组 件生态融合 Istio 官方推荐 数据面 MOSN 和 Envoy、 Dapr、WASM 27 MOSN 简介 — 生态建设 MOSN 简介 — 2021 roadmap 云原生 • 云原生网络平台建设 • 升级 Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin,Jaeger 等 • 支持 ZK,Nacos Release Notes Go 1.6 Release Notes Go 1.5 Release Notes Go 1.4 Release Notes …… CGO 一次调用开销在 0.08 ~ 1.626 us,另 外 CGO 调用开销呈线 性增长;CGO 中增加 Go 自身计算逻辑时, 其 Go 的计算消耗也 呈线性增长 CGO 开销调研 MOE 解决方案及实践介绍 MOE 方案介绍0 码力 | 36 页 | 35.61 MB | 1 年前3
01. MOSN 高性能网络扩展实践 - 王发康Release Notes Go 1.6 Release Notes Go 1.5 Release Notes Go 1.4 Release Notes …… CGO 一次调用开销在 0.08 ~ 1.626 us,另外 CGO 调用 开销呈线性增长;CGO 中 增加 Go 自身计算逻辑时,其 Go 的计算消耗也呈线性增 长 CGO 开销调研 MoE 方案介绍 MoE 整体架构 MoE 功能职责 go 同 Envoy、Cilium、WASM 社区合作共建 API 规范: MoE 方案介绍 — MOSN 和 Envoy 内存如何管理 【请求链路】将 Envoy 中的请求信息拷贝一 份传递给 MOSN ? 需要额外内存分配和拷 贝? 【响应链路】请求到 MOSN 执行一些操作, 其处理结果返回给 Envoy,Envoy 直接使用 GoLang 返回的内存安全吗? Headers Envoy CGO request 4 CGO response 相比 WASM、Lua, MoE 内存 Zero Copy MoE 方案介绍 — 阻塞操作如何处理 对于纯计算(非阻塞)或请求链路中的旁 路阻塞操作,按照正常流程执行即可 Envoy 是异步非阻塞事件模型,那 MOSN(GoLang) filter 中存在阻塞操作 需要如何处理? 对于阻塞操作,通过 GoLang 的 groutine(协程)0 码力 | 29 页 | 2.80 MB | 1 年前3
24-云原生中间件之道-高磊有大量的重复组件或者三方库的依赖,导致安全漏洞被传递或者扩散, SCA就是解决此类问题的办法,通过自动化分析组件版本并与漏洞库相 比较,快速发现问题组件,借助积累的供应链资产,可以在快速定位的 同时,推动业务快速修复。 安全左移的一种,在上线前发现依赖组件的安全 问题,快速借助供应链资产库,帮助业务修复问 题。 需要进行大量的安全特征以及资产库的建设或者 三方集成。(涉及业务能力) RASP(运行时安全应 用程序自我保护) 证,可以实现极为简单的边云接入操作,运行态并不会影响性能。 可信根一般是一个硬件,比如CPU或者TPM,将从 它开始构建系统所有组件启动的可信启动链,比 如UEFI、loader、OS、应用等,可以确保在被入侵 修改时的阻断行为,另外可以将可信启动链的 Hash值上传云端管理,可以做到中心管控验证的 目的。 加密技术 数据的安全生命周期返程三种不同状态:存储中、传输中、使用中,但 是对第三种场景 集成等重要作用。云原生倡导面向性能设计,基于消息队 列的异步调用能够显著降低前端业务的响应时间,提高吞吐量;基于消息队列还能实现削峰填谷,把慢服务分离到 后置链路,提升整个业务链路的性能。 高SLA 云原生应用将对消息这种云原生BaaS服务有更高的SLA要求,应用将假设其依赖的云原生服务具备跟云一样的可用性,从而不需要去建设备份链 路来提高应用的可用性,降低架构的复杂度。只有做到与云一样的可用性0 码力 | 22 页 | 4.39 MB | 6 月前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊落地的核心问题:业务微服务的划分和设计(DDD,咨询方案等)、部署困难、维持运行困难、云资源 管理与应用管理视角分离导致复杂性等 • 传统方案:仅仅考虑了一部分变化而引起的不稳定,如通过基于人工规则的服务治理保护链路、如时 延体验较差的部署策略等 • 云原生是告诉我们:能够适应业务变化的微服务+能够适应制品变化的DevOPS+能够适应技术环境变 化的技术底座=云原生平台;其中变化是以研发循环形式不断出现和累加的,如果不进行治理,那 7EB,实时计算峰值每秒30亿条记录; 云原生PolarDB读写性能提高50%+,计算资源利用率提高60%+。 • 云原生中间件首次实现自研、商用、开源的“三位一体”,通过阿里云服务全球客户。云原生中间件服务框架峰值调用量超百亿 QPS。 • 核心业务规模实践Serverless,弹性伸缩能力会提升10倍,大幅提升压测支撑效率和稳定性。 • 云原生技术不仅在阿里内部大规模普及,也正通过阿里云服务全社会的双11。大促期间,阿里云原生还支撑了中国邮政、申通 运维能力,进一步简化云 原生+资源层整体运维和 提升资源利用质量。 标准化能力-按需调度-Serverless 业务价值 架构 • 彻底消除传统服务端基础设施依赖,降低研发复杂性和运维难度 • 按实际调用量进行自动的容量扩缩 • 专注业务逻辑开发,无须关心基础设施 • 只需要将视频存入存储,接入极其简单,达到极致业务体验 • 按需加载资源,使用时调度,不使用时自动回收,达到极致 成本的体验。 •0 码力 | 42 页 | 11.17 MB | 6 月前3
云原生微服务最佳实践快速迭代难以控制风险 阿里微服务解法和优势 MSE微服务引擎 Nacos Ingress(Envoy) 云原⽣⽹关 Sentinel 用户容器 用户POD Tracing Prometheus 全链路压测 PTS AHAS ARMS ACK/ASK 调度+弹性 解法 • 提供完整微服务产品矩阵 • 通过 MSE 解决微服务最 核心服务发现和配置管理, 通过服务治理提升高可用 • 通过 服务Mock • 端云互联 • 开发环境隔离 • 服务压测 • 自动化回归 • 流量录制 • 流量回放 • 无损上下线 • 服务预热 • 金丝雀发布 • A/B Test • 全链路灰度 • 服务鉴权 • 漏洞防护 • 配置鉴权 • 离群实例摘除 • 限流降级 • 同AZ优先路由 • 就近容灾路由 • 服务巡检 • 标签路由 • 服务超时和重试 基础治理能力 Fuction(Serverless) App1(单体应用) 证书管理 认证登录 三方认证 WAF防护 限流熔断 风险预警 统一接入 流量调度 用户故事 • 来电 微服务治理全链路灰度最佳实践 • 斯凯奇 云原生网关最佳实践 来电 微服务治理全链路灰度最佳实践 app 充电宝设备节点 web 网关 服务注册发现 配置中心 HTTP HTTP HTTP HTTP HTTP 10% 90%0 码力 | 20 页 | 6.76 MB | 1 年前3
共 20 条
- 1
- 2













