## Alluxio 助力 Kubernetes， 加速云端深度学习 范斌 Alluxio 创始成员 车漾 阿里云高级技术专家 ## 目录 - 我们是谁 - 问题背景 - Alluxio 助力云原生 AI 模型训练 - Alluxio 是谁 - Alluxio 与 Kubernetes 结合 - Alluxio 优化实践 - 相关资料 ## 我们是谁？  范斌 Alluxio 创始成员  车漾 阿里云高级技术专家 ## 背景 p7_3.jpg) New Model: Storage & Compute Separation ## Alluxio - 分布式缓存的领导者 ALLUXIO 面向大数据和AI应用的内存级数据编排系统 -amplab 2013 开源项目由李浩源博士(Alluxio公司CEO)在加州大学Berkeley分校AMPLab就读期间创立 ANDREESSEN HOROWITZ 2015

interpreters  Q alluxio %alluxio (default) edit restart remove Option shared - Interpreter for note Connect to existing spark.sql.spark.dep md snd angular singular sh xuh Lily Alley, Alley. Alley. Alley. Alley alluxio \%alluxio ## 3 ）操作数据仓库 在方框内输入SQL语句，点击下图中的“▶”按钮，执行SQL。 Notebook Q Search your Notebooks anonymous

基于上述的选型思路，服务的三个核心架构分别选择了Spring，Spark和Alluxio。其中Spring的应用非常广泛，在实际案例和文档上都非常丰富，很容易落地实现；Spark本身是一个非常优秀的分布式计算框架，目前团队对Spark有很强的掌控力，调优经验也很丰富，这样只需要专注在计算逻辑的开发即可；Alluxio相对HDFS或HBase来说更加轻量，同时支持包括内存在内的多层异构存储，这些特性可能会在后续优化中得到利用。 特性可能会在后续优化中得到利用。 在具体的部署方式上，Spring Server单独启动，Spark和Alluxio都采用Standalone模式，且两个服务的slave节点在物理机上共同部署。Spring进程中通过SparkContext维持一个Spark长作业，这样接到查询请求后可以快速提交逻辑，避免了申请节点资源和启动Executor的时间开销。 

1、实现CDC数据自动合并和手动合并对接； 2、提供Flink增量拉取CDC数据的能力 ## 其他生态集成 1、Spark Streaming 对接CDC写入链路 2、Presto等引擎对接查询链路。 3、借助开源Alluxio加速数据查询。 ## FLINK FORWARD #ASIA 2020 ## 实时即未来 ## 谢谢 ## FLINK FORWARD #ASIA 2020 ## 实时即未来 ## 谢谢

2b0467e95dcdae1446896d0ddd54e9c/p7_5.jpg) Spark trino YABAN hadoop HOFs Spark trino ALLUXIO Compute ☀️ kubernetes 🔥 VOLCANO ## 业务场景： ![Image](/uploads/documents/0/2/b/0/02b0467e95dcdae

|---|---|---|---| |2021年4月|Karmada|沙箱|华为| |2021年5月|Vineyard|沙箱|阿里云| |2021年5月|Fluid|沙箱|南京大学&阿里云&Alluxio开源社区| |2021年5月|ChaosBlade|沙箱|阿里云| |2021年6月|WasmEdge (原SSVM)|沙箱|Second State| |2021年7月|KubeVela|沙箱|阿里云|

|OpenKruise|Linux基金会|CNCF|阿里|2020年11月||| |Kube-OVN|Linux基金会|CNCF|灵雀云|2021年1月||| |Fluid|Linux基金会|CNCF|南京大学、阿里云、Alluxio开源社区|2021年4月||| |Vineyard|Linux基金会|CNCF|阿里|2021年4月||| |ChaosBlade|Linux基金会|CNCF|阿里|2021年5月||| |Ku

020年11月||| |Kube-OVN|Linux基金会|CNCF|灵雀云|2021年1月||| |Fluid|Linux基金会|CNCF|南京大学、|2021年4月||| ||||阿里云、Alluxio 开源社区|||| |---|---|---|---|---|---|---| |Vineyard|Linux 基金会|CNCF|阿里|2021 年 4 月||| |ChaosBlade|Linux

pulsar|pulsar-io|3.1.2| |org.apache.pulsar|pulsar-io-aerospike|3.1.2| |org.apache.pulsar|pulsar-io-alluxio|3.1.2| |Group ID|Artifact ID|Version| |---|---|---| |org.apache.pulsar|pulsar-io-aws|3.1.2| |org

pulsar|pulsar-io|3.1.1| |org.apache.pulsar|pulsar-io-aerospike|3.1.1| |org.apache.pulsar|pulsar-io-alluxio|3.1.1| |org.apache.pulsar|pulsar-io-aws|3.1.1| |org.apache.pulsar|pulsar-io-batch-data-generator|3