24-云原生中间件之道-高磊说明 优点 缺点 SAST(静态应用程序 安全测试) 白盒测试,通过污点跟踪对源代码或者二进制程序(也包括Docker镜像等) 进行静态扫描,尽可能前置,在IDE编写代码或者提交代码时进行,将极 大优化整体效率和成本 可以无视环境随时可以进行,覆盖漏洞类型全面, 可以精确定位到代码段 路径爆炸问题,并一定与实际相符合,误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试,通过模拟业务流量发起请求,进行模糊测试,比如故障注入 如UEFI、loader、OS、应用等,可以确保在被入侵 修改时的阻断行为,另外可以将可信启动链的 Hash值上传云端管理,可以做到中心管控验证的 目的。 加密技术 数据的安全生命周期返程三种不同状态:存储中、传输中、使用中,但 是对第三种场景,一直以来缺少保护手段。通过加密技术建立的可信运 行环境TEE(比如IntelSGX,蚂蚁的KubeTEE等)可以保护运行中的数据和 代码,完成了安全闭环。 依 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 业务赋能 典型微服务应用 云原生应用 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库0 码力 | 22 页 | 4.39 MB | 6 月前3
 27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊的技术,如 RPA、BPM、 微流逻辑等串联在一起, 实现端到端的智能自动 化。是种生态型平台。 高级能力-混合云(资源角度) 控制力 服务、位置、规则可控 高安全 安全自主可控 高性能 硬件加速、配置优化 固定工作负载 私有云 混合云 SLB 工作负载可迁移 敏捷 标准化、自动化、快速响 应 低成本 按需伸缩、按需使用付费 弹性 可弹性无限拓展 弹性工作负载 公有云 ETCD ETCD Image 是未来下一代云,目前云厂商还在摸索阶段 • 有望成为云计算终极形式,云原生ServiceMesh以及 OAM等会得到更广阔空间的提升和发展。 2020年,全球数据存储总量预计为58ZB,平均每年增长 1倍。当前数据爆炸时代带来了三大问题。一、储存成 本问题: 通过当前的中心化云计算处理和存储海量新 增数据费用高昂;二、隐私和安全问题: 当前的中心 化云计算无法保证个人数据的隐私和安全性;三、数字 资产流动性问题: 数据是一种资产,互联网巨头数据 这些问题,预计到2022年,每10个字节的数据中,将有 7个字节的数据是没有数据中心的。 综合IDC、麦肯锡报告、华为报告,在2019年,全球中 心化云计算市场规模为2602亿美元,云存储市场为 491.3亿美元;而与之对应的去中心化云存储市场约30 亿美元,去中心化云计算市场约100亿美元。未来,10 年到20年,去中心化云计算、云储存市场有望实现10年 100倍的增长,达到 的规模。 高级能力-精益化运维-云原生AIOps0 码力 | 20 页 | 5.17 MB | 6 月前3
 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)原生架构的应用程序应该:采用开源堆栈(k8s+Docker)进行容器化,基于微 服务架构提高灵活性和可维护性,借助敏捷方法、DevOps 支持持续迭代和运维 自动化,利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。 云原生安全威胁分析与能力建设白皮书 12 1.1.2 云原生安全 云原生安全作为云原生的伴生技术,旨在解决云原生技术面临的安全问题, 其作为一种新兴的安全理念,强调以原生的思维实现云上安全并推动安全与云计 会造成镜像仓库和用户双方的安全风险。 2.2.4 敏感信息泄露攻击 当开发人员使用默认的或在容器镜像中保留硬编码的敏感数据,比如密码、 API 密钥、加密密钥、SSH 密钥、令牌等,或者在 Dockerfile 文件中存储了固 定密码等敏感信息并对外进行发布,都可能导致数据泄露的风险。攻击者会使用 扫描工具,比如 SecretScanner 等,探测镜像中存在的敏感信息,发现容器镜 像和文件系统中的敏感数据。 3.3 拒绝服务攻击 由于容器与宿主机共享 CPU、内存、磁盘空间等硬件资源,且 Docker 本 身对容器使用的资源并没有默认限制,如果单个容器耗尽宿主机的计算资源或存 储资源(例如进程数量、存储空间等),就可能导致宿主机或其他容器的拒绝服 务。 计算型 DoS 攻击:Fork Bomb 是一类典型的针对计算资源的拒绝服务攻击 手段,其可通过递归方式无限循环调用 fork()系统函数,从而快速创建大量进程。0 码力 | 72 页 | 2.44 MB | 1 年前3
 36-云原生监控体系建设-秦晓辉对于某个具体的资源类型,可以做更细粒度的控制,比如屏蔽某个指标:--metric- denylist=kube_deployment_spec_.* 支持正则的写法,对于几千个node的大集群,几十万个 pod,每个小小 的优化都很值得 • 最后,附赠大家一个我们做好的监控大盘,在 Categraf 仓库的:inputs/kube_state_metrics 目录下 Kubernetes Pod 内的 业务应用的监控 业务 容器 agent 监控服 务端 mtail Pod-002 业务 容器 agent mtail • 指标数据是性价比最高的数据 类型,传输存储成本相对较低 • 日志的处理和存储成本最高, 能用指标解决的尽量就用指标 解决,不要用日志 • 如果是从第三方采购的产品, 我们也尽量要求供应商统一暴 露 prometheus 接口,也别去 处理日志 业务应用依赖的中间件0 码力 | 32 页 | 3.27 MB | 6 月前3
 01. MOSN 高性能网络扩展实践 - 王发康改造成本低; 研发效率高,灵活性高; GoLang 支持的库比较多(Consul、 Redis、Kafka etc),生态较好 引入 GoLang 扩展后,有一定性能损 耗,业务场景可接受,另外有优化 空间 扩展方案调研 MoE 背景介绍 — 方案分析 方案名称 稳定性 性能 成本 生态 Lua Extension 高 高 高 较低 WASM Extension ES 低 高 活跃 External 展 性、灵活性、生态上的痛点,另外对性能方面也有优化空间: 经济体互通网关蚂蚁侧场景,当前灰度了少量的线上流量,已经平稳运行了 1 个月左右; • 业务代码优化,如减少对象数量 • 内存管理优化,如 jemalloc 替换 tcmalloc、堆外内存 • runtime 相关优化,如 cgocheck 调优、P 分组管理等 • 交互协议优化,如减少 CGO 交互次数等 MoE 社区共建0 码力 | 29 页 | 2.80 MB | 1 年前3
 基于Consul的多Beats接入管控与多ES搜索编排cgroup cpulimit 定时检测 kill nice值 beats优化 缓存设置 工作协程 设置 资源配额 调整 Agent运行时监控 日志延时分析 Beats cpu/mem管控 ES/kafka容量管理 日志覆盖率分析 13 案例:高并发写入场景下Beats与ES性能优化 日志上报是 否有延时? Filebeat资 源受限? ES写入性 能不足? 界面提交核心参数并结合延时图对比分析 Filebeat性能管控 日志量太大Cpu飙升影响业务 精准控制资源消耗防止异常减少抖动 Es写入性能调优 修改配置文件不断观察数据情况 基于ES压测报告给出专家级es参数优化建议 参数优化体验 修改配置文件、参数调优相对麻烦 全UI化、一站式处理 14 配置UI化 配置UI化开发思路 嵌套式表单 大表单套小表单,所有表单都是以angular组 件形式开发,保证代码的可复用性与质量0 码力 | 23 页 | 6.65 MB | 1 年前3
 1.3 MOSN 在云原生的探索及实践协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin,Jaeger 等 • 支持 ZK,Nacos 等 • 支持 Dubbo 3.0 • 支持 thrift, kafka 等 协议 • 支持 Istio 1.10 • 支持 Ingress 和 Gateway • 推动 UDPA 多协议建 设 核心能力 微服务 性能优化 MOSN 网络层扩展思考和选型 MOE 力,改造成本低;研发效率高, 灵活性高;GoLang 支持的库比 较多(Consul、Redis、Kafka etc),生态较好 引入 GoLang 扩展后,有一定性 能损耗,业务场景可接受,另外 有优化空间 MoE 背景介绍 — 方案分析 方案名称 稳定性 性能 成本 生态 Lua Extension 高 高 高 较低 WASM Extension ES 低 高 活跃 External Processing 相比于纯 Go 实现的网关处理能力具有 4 倍左右性能提升  MOE 相比于 Envoy 性能下降 20%,虽然牺牲部 分性能,但解决了用户在其可扩展性、灵活性、 生态上的痛点,另外对性能方面也有优化空间 开源进展同步 高性能网络扩展层 — MOE GoLang extension proposal 已支持将 MOSN 部分 filter 运行在 Envoy 中, 欢迎试用 https://github0 码力 | 36 页 | 35.61 MB | 1 年前3
 Volcano加速金融行业大数据分析平台云原生化改造的应用实践公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化,并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化,异构硬件支持x86, Arm, GPU, 昇腾,昆仑等。 Volcano Global Kubernetes Volcano-controller0 码力 | 18 页 | 1.82 MB | 1 年前3
 Apache Pulsar,云原生时代的消息平台 - 翟佳
持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点:替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障: 持久化(fsync)、⼀致性(ack: all)、多Topic • IO不隔离:消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构: • 存储计算分离 • 分层 + 分⽚ 的⽣态和社区 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper streamnative.io Pulsar: 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 容错 ⽆感知容错 ⽆感知容错 零数据catchup streamnative.io Bookie容错 应⽤⽆感知 并发可控 数据恢复 streamnative.io 瞬时存储扩容 应⽤⽆感知 数据均匀分布 ⽆re-balance Pulsar: 云原⽣的架构优势 https://jack-vanlightly.com/sketches/2018/10/2/kafka-vs-pulsar-rebalancing-sketch0 码力 | 39 页 | 12.71 MB | 6 月前0.03
 构建统一的云原生应用 可观测性数据平台统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. MultistageCodec:采集 ➔ 存储 ➔ 查询 DeepFlow Agent DeepFlow Ingester ClickHouse tagint DeepFlow Controller tagint tagint tagint tagint tagint tagint tagint …… tagint tagint 云API、K8s apiserver GUI Data …… ① 采集 ① 采集 ② 存储 ② 存储 ③ 查询 ③ 查询 看云网更清晰 Simplify the growing complexity. Stage-1:采集时的编码 • Controller同步云API、K8s apiserver complexity. Stage-2:存储时的编码 • Controller同步云API、K8s apiserver • 将所有标签编码为Int • Controller向Ingester下发编码后的Int标签 • 仅向Ingester下发需要持久化存储的标签 • 便于检索 • 如何选择需要随观测数据存储的标签 • 存储系统标签的:资源的标签、K8s的标签 • 不存储自定义标签:K8s label0 码力 | 35 页 | 6.75 MB | 1 年前3
共 20 条
- 1
 - 2
 













