Volcano加速金融行业大数据分析平台云原生化改造的应用实践提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化,并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化,异构硬件支持x86, Arm, GPU, 昇腾,昆仑等。 Volcano Global Kubernetes Volcano-controller Volcano-scheduler Kubernetes Volcano-controller Kube-apiserver Job/JobFlow Queue vc-controller vc-scheduler vsub kubectl Node NUMA GPU Node NUMA GPU … VolcanoGlobal 架构 多中心 低成本 无绑定 VG Scheduler ETCD Karmada Controllers K8s API Server DAP平台运行项目450+ Volcano大幅度提高大数据平台资源利用率 Kubernetes + YARN Kubernetes + Volcano 静态划分资源池 统一资源池 Kubernetes + YARN Kubernetes + Volcano 集群低负载场景 K8s资源池空闲,大数据业务无法使用 大数据业务可以使用集群整体空闲资源, 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用0 码力 | 18 页 | 1.82 MB | 1 年前3
24-云原生中间件之道-高磊来,使得计算层彻底变为无状态,可以做到灵活的拓展 能力和故障恢复能力。这样在计算层也实现了Serverless 模式。 • 通过RDMA,绕过CPU,直接和远端内存通信,在计算与 存储分离、计算与内存分离架构上,提升网络利用率和 性能,也能得到传统数据库网络和性能上一样的体验。 • 底层Data Chunk,采用去中心存储,单体失败不影响数 据的完整性,并且自动自愈(Serverless)。 • 通过跨域数据同步能力,实现多地域数据多活。 • 在离线分离部署及粗粒度调度无法提高资源的利用率:在传统Hadoop架构下,离线作业和在线作业往往分属不同的集 群,然而在线业务、流式作业具有明显的波峰波谷特性,在波谷时段,会有大量的资源处于闲置状态,造成资源的浪 费和成本的提升。在离线混部集群,通过动态调度削峰填谷,当在线集群的使用率处于波谷时段,将离线任务调度到 在线集群,可以显著的提高资源的利用率。然而,Hadoop Yarn目前只能通过N ,镜像只需提供应用必须的依赖环境,使其存储空 间得到了极大的减少,上传和下载镜像的时间变的更短,快速启动和销毁变的很容易,总体极大的缩短了应用的 发布周期。 • 在资源利用率方面,借助云原生架构的技术能力,多方位提升系统的资源利用率,如细粒度调度(将CPU和内存 这两个核心资源划分的更细,从而更充分的分配系统资源)、动态调度(基于节点真实负载情况,而非静态划分 的资源,将任务调度到已分配了资源但是0 码力 | 22 页 | 4.39 MB | 6 月前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊率提升50%,万笔交易成本4年下降80%。 • 拥有国内最大计算平台、顶级实时计算能力。大数据平台批处理单日计算数据量达到1.7EB,实时计算峰值每秒30亿条记录; 云原生PolarDB读写性能提高50%+,计算资源利用率提高60%+。 • 云原生中间件首次实现自研、商用、开源的“三位一体”,通过阿里云服务全球客户。云原生中间件服务框架峰值调用量超百亿 QPS。 • 核心业务规模实践Serverless,弹性伸缩能力0 码力 | 42 页 | 11.17 MB | 6 月前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)原生架构的应用程序应该:采用开源堆栈(k8s+Docker)进行容器化,基于微 服务架构提高灵活性和可维护性,借助敏捷方法、DevOps 支持持续迭代和运维 自动化,利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。 云原生安全威胁分析与能力建设白皮书 12 1.1.2 云原生安全 云原生安全作为云原生的伴生技术,旨在解决云原生技术面临的安全问题, 其作为一种新兴的安全理念,强调以原生的思维实现云上安全并推动安全与云计0 码力 | 72 页 | 2.44 MB | 1 年前3
2.2.7 云原生技术在2B交付中的实践CPU int `json:"cpu"` GPU int `json:"gpu"` Probes []ComponentProbe `json:"probes"`0 码力 | 31 页 | 6.38 MB | 1 年前3
共 5 条
- 1













