Volcano加速金融行业大数据分析平台云原生化改造的应用实践reservation,backfill • 不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化,并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化,异构硬件支持x86, Arm, GPU, 昇腾,昆仑等。 Volcano Global Kubernetes Volcano-controller0 码力 | 18 页 | 1.82 MB | 1 年前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊按实际调用量进行自动的容量扩缩 • 专注业务逻辑开发,无须关心基础设施 • 只需要将视频存入存储,接入极其简单,达到极致业务体验 • 按需加载资源,使用时调度,不使用时自动回收,达到极致 成本的体验。 • 并行执行,可以同时出产不同维度业务结果,达到极致性能 体验。比如上图,同时从不同维度进行业务处理。 • 减少了传统微服务体系中容量规划和服务治理的负担,专注 于业务本身。 • 可以支持大部分业务场景:Web,视频、大数据、AI、运维场0 码力 | 42 页 | 11.17 MB | 6 月前3
01. MOSN 高性能网络扩展实践 - 王发康改造成本低; 研发效率高,灵活性高; GoLang 支持的库比较多(Consul、 Redis、Kafka etc),生态较好 引入 GoLang 扩展后,有一定性能损 耗,业务场景可接受,另外有优化 空间 扩展方案调研 MoE 背景介绍 — 方案分析 方案名称 稳定性 性能 成本 生态 Lua Extension 高 高 高 较低 WASM Extension ES 低 高 活跃 External 展 性、灵活性、生态上的痛点,另外对性能方面也有优化空间: 经济体互通网关蚂蚁侧场景,当前灰度了少量的线上流量,已经平稳运行了 1 个月左右; • 业务代码优化,如减少对象数量 • 内存管理优化,如 jemalloc 替换 tcmalloc、堆外内存 • runtime 相关优化,如 cgocheck 调优、P 分组管理等 • 交互协议优化,如减少 CGO 交互次数等 MoE 社区共建0 码力 | 29 页 | 2.80 MB | 1 年前3
基于Consul的多Beats接入管控与多ES搜索编排cgroup cpulimit 定时检测 kill nice值 beats优化 缓存设置 工作协程 设置 资源配额 调整 Agent运行时监控 日志延时分析 Beats cpu/mem管控 ES/kafka容量管理 日志覆盖率分析 13 案例:高并发写入场景下Beats与ES性能优化 日志上报是 否有延时? Filebeat资 源受限? ES写入性 能不足? 界面提交核心参数并结合延时图对比分析 Filebeat性能管控 日志量太大Cpu飙升影响业务 精准控制资源消耗防止异常减少抖动 Es写入性能调优 修改配置文件不断观察数据情况 基于ES压测报告给出专家级es参数优化建议 参数优化体验 修改配置文件、参数调优相对麻烦 全UI化、一站式处理 14 配置UI化 配置UI化开发思路 嵌套式表单 大表单套小表单,所有表单都是以angular组 件形式开发,保证代码的可复用性与质量0 码力 | 23 页 | 6.65 MB | 1 年前3
1.3 MOSN 在云原生的探索及实践协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin,Jaeger 等 • 支持 ZK,Nacos 等 • 支持 Dubbo 3.0 • 支持 thrift, kafka 等 协议 • 支持 Istio 1.10 • 支持 Ingress 和 Gateway • 推动 UDPA 多协议建 设 核心能力 微服务 性能优化 MOSN 网络层扩展思考和选型 MOE 力,改造成本低;研发效率高, 灵活性高;GoLang 支持的库比 较多(Consul、Redis、Kafka etc),生态较好 引入 GoLang 扩展后,有一定性 能损耗,业务场景可接受,另外 有优化空间 MoE 背景介绍 — 方案分析 方案名称 稳定性 性能 成本 生态 Lua Extension 高 高 高 较低 WASM Extension ES 低 高 活跃 External Processing 相比于纯 Go 实现的网关处理能力具有 4 倍左右性能提升 MOE 相比于 Envoy 性能下降 20%,虽然牺牲部 分性能,但解决了用户在其可扩展性、灵活性、 生态上的痛点,另外对性能方面也有优化空间 开源进展同步 高性能网络扩展层 — MOE GoLang extension proposal 已支持将 MOSN 部分 filter 运行在 Envoy 中, 欢迎试用 https://github0 码力 | 36 页 | 35.61 MB | 1 年前3
24-云原生中间件之道-高磊说明 优点 缺点 SAST(静态应用程序 安全测试) 白盒测试,通过污点跟踪对源代码或者二进制程序(也包括Docker镜像等) 进行静态扫描,尽可能前置,在IDE编写代码或者提交代码时进行,将极 大优化整体效率和成本 可以无视环境随时可以进行,覆盖漏洞类型全面, 可以精确定位到代码段 路径爆炸问题,并一定与实际相符合,误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试,通过模拟业务流量发起请求,进行模糊测试,比如故障注入 在大数据计算场景同时大量应用访问存储的需求很高,这样对存储服务带来的性能需求成为应用运行效率的关键瓶颈 具体需求: • 底层存储服务提供更加优异的存储性能服务,优化 CPFS、GPFS 等高性能存储服务满足业务需求; • 容器编排层面:优化存储调度能力,实现存储就近访问、数据分散存储等方式降低单个存储卷的访问压力。 4. 共享存储的隔离性 • 共享存储提供了多个 Pod 共享数据的能力,方便了不同0 码力 | 22 页 | 4.39 MB | 6 月前3
中国移动磐舟DevSecOps平台云原生安全实践段,着重在需求设计环节确定关键安全要求,旨在降低风险暴露 并增强产品安全质量。安全团队针对企业内部的业务流程和场景展开威胁建模与风险识别,同时依据实际生产漏洞的运营情况完 善威胁建模知识库,持续优化和维护内部安全需求知识库以适应不断变化的安全挑战。 ①需求分析阶段,分析业务需求,选择相应的安全需求 分类,并添加至安全需求清单列表 ②根据安全需求清单选择安全设计要求,整理为安全设 计清单0 码力 | 22 页 | 5.47 MB | 1 年前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊的技术,如 RPA、BPM、 微流逻辑等串联在一起, 实现端到端的智能自动 化。是种生态型平台。 高级能力-混合云(资源角度) 控制力 服务、位置、规则可控 高安全 安全自主可控 高性能 硬件加速、配置优化 固定工作负载 私有云 混合云 SLB 工作负载可迁移 敏捷 标准化、自动化、快速响 应 低成本 按需伸缩、按需使用付费 弹性 可弹性无限拓展 弹性工作负载 公有云 ETCD ETCD Image0 码力 | 20 页 | 5.17 MB | 6 月前3
36-云原生监控体系建设-秦晓辉对于某个具体的资源类型,可以做更细粒度的控制,比如屏蔽某个指标:--metric- denylist=kube_deployment_spec_.* 支持正则的写法,对于几千个node的大集群,几十万个 pod,每个小小 的优化都很值得 • 最后,附赠大家一个我们做好的监控大盘,在 Categraf 仓库的:inputs/kube_state_metrics 目录下 Kubernetes Pod 内的 业务应用的监控0 码力 | 32 页 | 3.27 MB | 6 月前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)原生架构的应用程序应该:采用开源堆栈(k8s+Docker)进行容器化,基于微 服务架构提高灵活性和可维护性,借助敏捷方法、DevOps 支持持续迭代和运维 自动化,利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。 云原生安全威胁分析与能力建设白皮书 12 1.1.2 云原生安全 云原生安全作为云原生的伴生技术,旨在解决云原生技术面临的安全问题, 其作为一种新兴的安全理念,强调以原生的思维实现云上安全并推动安全与云计0 码力 | 72 页 | 2.44 MB | 1 年前3
共 10 条
- 1













