24-云原生中间件之道-高磊
说明 优点 缺点 SAST(静态应用程序 安全测试) 白盒测试,通过污点跟踪对源代码或者二进制程序(也包括Docker镜像等) 进行静态扫描,尽可能前置,在IDE编写代码或者提交代码时进行,将极 大优化整体效率和成本 可以无视环境随时可以进行,覆盖漏洞类型全面, 可以精确定位到代码段 路径爆炸问题,并一定与实际相符合,误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试,通过模拟业务流量发起请求,进行模糊测试,比如故障注入 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 业务赋能 典型微服务应用 云原生应用 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 云原生PaaS平台 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据,支持高吞吐量实时入库及数据实时查询,实现数据资源 智慧化运营。 优势 低成本存储: 支持PB级数据存储 高并发: 千亿数据实时分析 数据源 设备监控 传感器 轨迹数据 车联网 业务集群 物联网套件写入 云原生 DB 轨迹查 询|实时 监测 MR 云原 生DB 统计 分析 物联网数据存储和查询 将车联网数据、设备监0 码力 | 22 页 | 4.39 MB | 5 月前3基于Consul的多Beats接入管控与多ES搜索编排
启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径,实时感 知配置变化,并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 获取master列表 向master发起Agent注册逻辑 返回agent id 增删改策略 获取策略列表 cgroup cpulimit 定时检测 kill nice值 beats优化 缓存设置 工作协程 设置 资源配额 调整 Agent运行时监控 日志延时分析 Beats cpu/mem管控 ES/kafka容量管理 日志覆盖率分析 13 案例:高并发写入场景下Beats与ES性能优化 日志上报是 否有延时? Filebeat资 源受限? ES写入性 能不足? 界面提交核心参数并结合延时图对比分析 Filebeat性能管控 日志量太大Cpu飙升影响业务 精准控制资源消耗防止异常减少抖动 Es写入性能调优 修改配置文件不断观察数据情况 基于ES压测报告给出专家级es参数优化建议 参数优化体验 修改配置文件、参数调优相对麻烦 全UI化、一站式处理 14 配置UI化 配置UI化开发思路 嵌套式表单 大表单套小表单,所有表单都是以angular组 件形式开发,保证代码的可复用性与质量0 码力 | 23 页 | 6.65 MB | 1 年前3云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)
原生架构的应用程序应该:采用开源堆栈(k8s+Docker)进行容器化,基于微 服务架构提高灵活性和可维护性,借助敏捷方法、DevOps 支持持续迭代和运维 自动化,利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。 云原生安全威胁分析与能力建设白皮书 12 1.1.2 云原生安全 云原生安全作为云原生的伴生技术,旨在解决云原生技术面临的安全问题, 其作为一种新兴的安全理念,强调以原生的思维实现云上安全并推动安全与云计 云原生安全威胁分析与能力建设白皮书 66 SCA Software Composition Analysis 软件成分分析 SQL Structured Query Language 结构化查询语言 SSH Secure Shell 安全外壳 VLAN Virtual Local Area Network 虚拟局域网 WAF Web Application Firewalls 网站应用级入侵防御系统0 码力 | 72 页 | 2.44 MB | 1 年前3构建统一的云原生应用 可观测性数据平台
统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. MultistageCodec:采集 ➔ 存储 ➔ 查询 DeepFlow Agent DeepFlow Ingester ClickHouse tagint DeepFlow Controller tagint tagint tagint tagint tagint tagint …… tagint tagint 云API、K8s apiserver GUI Data …… ① 采集 ① 采集 ② 存储 ② 存储 ③ 查询 ③ 查询 看云网更清晰 Simplify the growing complexity. Stage-1:采集时的编码 • Controller同步云API、K8s apiserver • 将所有标签编码为Int group=iot owner=xian gyang …… 看云网更清晰 Simplify the growing complexity. Stage-3:查询时的编、解码 • Querier编码自定义标签的Filter和Group查询请求 • Filter:利用CK字典依据系统标签过滤 • Group:利用CK字典依据系统标签翻译 • Querier将系统标签解码为可读字符串 • 使用CK字典解码Int化的系统标签0 码力 | 35 页 | 6.75 MB | 1 年前3云原生图数据库解谜、容器化实践与 Serverless 应用实操
为什么我们需要⼀个专⻔的数据库? 什么是图? "以图结构、图语义来⽤点、边、属性来查询、表示存 储数据的数据库 wikipedia.org/wiki/graph_database 了解更多关于 什么是图数据库 什么是图数据库 为什么需要图数据库? 传统数据库 图数据库 图模型的结构 图语义的查询 性能 Nebula Graph! 如何发⾳:[ˈnebjələ], 它有哪些特点? Nebula Graph 介绍 了解更多 >>> ⽂档:Nebula 架构 官⽹:⽤户案例 ⼀个可靠的分布式、线性扩容、性能⾼效的图数据库 世界上唯⼀能够容纳千亿顶点和万亿条边,并提供毫秒级查询延时的图数据库解决⽅案 云原⽣时代的图数据库 容器化部署演进 Nebula Docker Nebula K8s Nebula Operator Nebula Operator 实现 Kubebuilder0 码力 | 47 页 | 29.72 MB | 1 年前301. MOSN 高性能网络扩展实践 - 王发康
改造成本低; 研发效率高,灵活性高; GoLang 支持的库比较多(Consul、 Redis、Kafka etc),生态较好 引入 GoLang 扩展后,有一定性能损 耗,业务场景可接受,另外有优化 空间 扩展方案调研 MoE 背景介绍 — 方案分析 方案名称 稳定性 性能 成本 生态 Lua Extension 高 高 高 较低 WASM Extension ES 低 高 活跃 External 展 性、灵活性、生态上的痛点,另外对性能方面也有优化空间: 经济体互通网关蚂蚁侧场景,当前灰度了少量的线上流量,已经平稳运行了 1 个月左右; • 业务代码优化,如减少对象数量 • 内存管理优化,如 jemalloc 替换 tcmalloc、堆外内存 • runtime 相关优化,如 cgocheck 调优、P 分组管理等 • 交互协议优化,如减少 CGO 交互次数等 MoE 社区共建0 码力 | 29 页 | 2.80 MB | 1 年前31.3 MOSN 在云原生的探索及实践
协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin,Jaeger 等 • 支持 ZK,Nacos 等 • 支持 Dubbo 3.0 • 支持 thrift, kafka 等 协议 • 支持 Istio 1.10 • 支持 Ingress 和 Gateway • 推动 UDPA 多协议建 设 核心能力 微服务 性能优化 MOSN 网络层扩展思考和选型 MOE 力,改造成本低;研发效率高, 灵活性高;GoLang 支持的库比 较多(Consul、Redis、Kafka etc),生态较好 引入 GoLang 扩展后,有一定性 能损耗,业务场景可接受,另外 有优化空间 MoE 背景介绍 — 方案分析 方案名称 稳定性 性能 成本 生态 Lua Extension 高 高 高 较低 WASM Extension ES 低 高 活跃 External Processing 相比于纯 Go 实现的网关处理能力具有 4 倍左右性能提升 MOE 相比于 Envoy 性能下降 20%,虽然牺牲部 分性能,但解决了用户在其可扩展性、灵活性、 生态上的痛点,另外对性能方面也有优化空间 开源进展同步 高性能网络扩展层 — MOE GoLang extension proposal 已支持将 MOSN 部分 filter 运行在 Envoy 中, 欢迎试用 https://github0 码力 | 36 页 | 35.61 MB | 1 年前3consul 命令行
dns-port:要侦听的DNS端口。这将覆盖默认端口8600.这在Consul 0.7及更高版本中可用。 ● domain:默认情况下,Consul在“consul”中响应DNS查询。域。此标志可用于更改该域。假定 域中的所有查询都由Consul处理,不会以递归方式解析。 ● enable-script-checks:这可以控制是否在此代理上启用了执行脚本的运行状况检查,默认为false 营商必须选0 码力 | 5 页 | 346.62 KB | 1 年前323-云原生观察性、自动化交付和 IaC 等之道-高磊
逻辑API:已有API的组 合,形成一个新API • 声明API:需要生成代 码框架(任何语言), 契约驱动研发 • BaaS API:数据库接口、 中间件接口外化成API • API门户:消费者可以 根据领域-能力查询到 想要的API。 • 自动生成SDK方便集成。 • 发行计划:向下兼容, 对比发布 • API文档:每一个API有 一个活档,指导集成。 形成市场,能力 互补 全生命周期API管理-2-Azure 发人员可以清晰的观测到整体分布式应用的详细运 行情况,为高精度运维提供可视化支撑 人工发展阶段:符合人分析问题的习惯 宏观->微观 精细化发展阶段:依靠数据赋能,加强可视化能力,进一步简化运维 监控告警 分布式跟踪链 日志查询 根因分析 响应动作 自动化 高端观察性 各维度统计分析 观察性 Prometheus Skywalking EFK Hadoop Spark Cortex ....... 传统交付方式的不足之处0 码力 | 24 页 | 5.96 MB | 5 月前3Volcano加速金融行业大数据分析平台云原生化改造的应用实践
公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化,并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化,异构硬件支持x86, Arm, GPU, 昇腾,昆仑等。 Volcano Global Kubernetes Volcano-controller0 码力 | 18 页 | 1.82 MB | 1 年前3
共 13 条
- 1
- 2