## Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪洋，华为云 Volcano 社区核心贡献者 ## 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 ## 云原生大数据平台 传统服务 大数据 人工智能  +P飞桨 Volcano Global Kubernetes Kubernetes Volcano-controller Volcano-controller Volcano-scheduler Volcano-scheduler   PyTorch Volcano Global Kubectl / client-go 多中心 ETCD VG API Server 低成本 Karmada API Server VG Admission VG

SPEAKER INTRODUCE ## 王雷博 Principal Software Engineer - Huawei(Now) – Cloud Native batch system (Volcano) development - IBM spectrum computing – Cluster resource and workload scheduling platform development eb36e9d82a52a5e2692297a893/p3_1.jpg) ## Agenda • Why Spark on Kubernetes • Gaps for Spark • Volcano solution for Spark • Future works ## Why Spark on Kubernetes Kubernetes extends beyond container .jpg) Website: https://volcano.sh Github: http://github.com/volcano-sh/volcano Twitter: https://twitter.com/volcano_sh Slack: http://volcano-sh.slack.com Email: volcano-sh@googlegroups.com ## Architecture

|4|oam-dev/kubevela|1006.0651186399000|2135| |5|chaos-mesh/chaos-mesh|958.7506461130560|1459| |6|volcano-sh/volcano|692.3775535617090|921| |7|karmada-io/karmada|671.0238190222060|1882| |8|openyurtio/openyurt|503 |4|oam-dev/kubevela|3389|544|1248|3033|1087| |5|chaos-mesh/chaos-mesh|7177|421|745|1488|637| |6|volcano-sh/volcano|3384|295|323|697|241| |7|karmada-io/karmada|4042|224|473|1319|395| |8|openyurtio/openyurt| 月|2020年4月|| |KubeEdge|Linux基金会|CNCF|华为|2019年3月|2020年9月|| |ChubaoFS|Linux基金会|CNCF|京东|2020年1月||| |Volcano|Linux基金会|CNCF|华为|2020年4月||| |BFE|Linux基金会|CNCF|百度|2020年6月||| |CNI-Genie|Linux基金会|CNCF|华为|2020年6月|||

|4|oam-dev/kubevela|1006.0651186399000|2135| |5|chaos-mesh/chaos-mesh|958.7506461130560|1459| |6|volcano-sh/volcano|692.3775535617090|921| |7|karmada-io/karmada|671.0238190222060|1882| |8|openyurtio/openyurt|503 月|2020年4月|| |KubeEdge|Linux基金会|CNCF|华为|2019年3月|2020年9月|| |ChubaoFS|Linux基金会|CNCF|京东|2020年1月||| |Volcano|Linux基金会|CNCF|华为|2020年4月||| |BFE|Linux基金会|CNCF|百度|2020年6月||| |CNI-Genie|Linux基金会|CNCF|华为|2020年6月|||

Maintainer & Contributor - Open source enthusiastic, previously Kubernetes active contributor and Volcano maintainer ## Agenda Background 2 TCP Original Address Preserve HTTP Original Address Preserve

"已经成功", extraValueMap: \[ ], innerErrMsg: null|③查看每个span详细的日志||| |hnq.new-market\_entry.market.volcano.os|http|ok|createHbEnterprise|238.50ms|

Trace应用 —场景还原

0 码力 | 19 页 | 3.00 MB | 2 年前 3 Greenplum 6: 混合负载的理想数据平台 [Image](/uploads/documents/c/8/7/9/c879fc523a03552b8058583920607820/p17_1.jpg) 超过8年的投资，多位博士的长期贡献 基于Cascades / Volcano框架, Goetz Graefe 优化分布式大数据系统中特别复杂的查询 01 02 03 ![Image](/uploads/documents/c/8/7/9/c879fc523a0 0 码力 | 52 页 | 4.48 MB | 2 年前 3 openEuler : 面向数字基础设施的开源操作系统 openEuler社区托管/孵化基础软件创新项目超过500个 ## openEuler 云原生全栈 ## Applications ## 云原生业务调度 Rubik 在离线混布 Kmesh 高性能服务网格 Volcano Rancher KubeSphere ## 集群部署、管理 KubeOS 云原生OS Eggo 一键部署平台 NestOS KubeEdge RKE2/K3s KubeVirt 0 码力 | 12 页 | 2.87 MB | 1 年前 3 2023年中国基础软件开源产业研究白皮书 态扩展到了距离企业更近的范围内，满足对计算实时性要求较高的企业需求，并将5G更好的引入到企业应用中，支撑企业更多业务创新模式。 ## 华为部分开源中间件展示 ## V OLCANO - Volcano是一个建立在Kubernetes上的批处理系统，可对承接应用程序通常运行多种通用领域框架，如TensorFlow、Spark、Ray等进行集成。 ## KubeEdge - KubeEdge 0 码力 | 43 页 | 4.69 MB | 2 年前 3 VMware Greenplum v6.25 Documentation developed by Greenplum, and it is now in standard PostgreSQL. Greenplum Database queries use a Volcano-style query engine model, where the execution engine takes an execution plan and uses it to generate 0 码力 | 2400 页 | 18.02 MB | 2 年前 3 共 39 条 1 2 3 4 前往 页 相关搜索词 Volcano云原生化Kubernetes资源调度批量计算Spark资源隔离动态资源分配开源生态开发者国家政策国际影响力技术创新商业化国际合作源地址保留IstioEnvoyiptables规则粘性会话异构系统链路追踪Trace机制日志数据系统架构Greenplum 6MPP大数据平台混合负载事务型锁优化openEuler开源操作系统全场景支持多样性算力社区贡献基础软件开源开源产业链开源社区操作系统贡献者Greenplum Databasedifferential segment recoverypg_auditgprecoversegPXF