Apache OpenWhisk + Kubernetes: A Perfect Match for Your Serverless Platform Ying Chun Guo guoyingc@cn.ibm.com Zhou Xing xingzhou@qiyi.com Agenda • What is serverless? • Kubernetes + Apache • No compute cost when idle Benefits Serverless landscape defined in CNCF Kubernetes + Apache OpenWhisk Kubernetes Introduction § K8s is a production- grade container orchestration platform repositories. Apache OpenWhisk Source event Trigger Rule Action Result A serverless, open source cloud platform that executes functions in response to events at any scale. Apache OpenWhisk

workload scheduling platform development l Gaps for Spark • Agenda l Why Spark on Kubernetes l Volcano solution for Spark l Future works Why Spark on Kubernetes Kubernetes extends beyond container About Spark on Kubernetes l https://github.com/apache-spark-on-k8s/spark l The goal is to bring native support for Spark to use Kubernetes as a cluster manager like YARN, or Mesos. l Spark 2.3 added Kubernetes. l Spark 2.4 added support for client mode, R, python etc. l Spark 3.0 will add support for dynamic resource allocation, external shuffle service, Kerberos etc. How it works Spark on Kubernetes

dynamic Short Duration 14 - 一键部署Spark集群 - 无需管理服务器节点 - 灵活弹性，无限扩容 容器调度与编排 Spark-Master Serverless Kubernetes集群 Demo: 基于Serverless Kubernetes的Spark数据处理 Worker-1 Worker-2 Worker-N Pod Pod Pod Pod Client spark-submit 开始使用 Get Started • 现开放区域：杭州、上海、美西，公测期间免费，欢迎试用 • 计划12月份正式对全体用户开放，开始商业化 • 控制台：https://cs.console.aliyun.com • 快速入门指南和Demo：https://yq.aliyun.com/articles/591115

�������� �� ���� Online service Batch jobs Category Online shopping web apps, payment service MR, spark, flink Latency Sensitive Insensitive Priority high low Traffic pattern Peak at day time Peak at if If segregating prod and non-prod workloads ����������� �������� ����������� �������� Retail spark search adds MR flink Sigma Fuxi Kubernetes YARN Node ���������� �� ��������� ������� ��� �����������

Rust 实现的一个内存运行的 DataFrame 库。 与其他 DataFrame 库（如 Pandas）不同，Polars 是多 线程、支持惰性求值、并且并行操作安全的。 Polars 使用 Apache Arrow 格式作为内存模型，以高效实现分析 操作，并实现与其他工具的互用性。 如果您熟悉 Pandas，就可以快速上手 Polars 的 Python 绑定。 基于 Rust 实现和 Python Snowpark 是一个用于 Snowflake 大规模查询和处理数据的库。我们的团队使用它来编写可管理代码，用以与 Snowflake 中存储的数据进行交互 ——这类似于为 Snowflake 编写 Spark 代码。总的来说，它是一个引擎，能 够将代码转换为 Snowflake 能够理解的 SQL。您在构建应用程序时无需将 Snowflake 中待处理的数据移动到您 代码运行的地方。一个缺陷：单元

Serverless容器典型场景和客户价值 在线业务 弹性扩容 Serverless AI Serverless 大数据计算 CI/CD • 30s 500pod • 非预期突发流量 • 适用电商、在线教育等行业 • Spark／Presto • 高弹性低成本 • 免容量规划 • Jenkins/Gitlab-Runner • 低成本 • 强隔离 • 免运维 • 高弹性 • 低成本 Serverless

DynamicQuotaManager MultiClusterManager De-Scheduler Rosource Manage & Schedule Ceres Job Queue Manager Spark-Operator OfflineJobs Scheduler Kubeflow Hybrid Deploy StatefulSetPlus-Operator Tencent Cloud

Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes 6 app: wordpress spec: containers: - name: wordpress image: wordpress:4.8-apache ports: - containerPort: 80 env: - name: WORDPRESS_DB_HOST

在 Kubernetes 下的微服务治理最 佳实践 方剑 阿里云云原生应用平台 高级开发工程师 观看视频回放 • Spring Cloud Alibaba PMC member • Apache RocketMQ Committer • Alibaba Nacos Committer • 阿里云 MSE 云产品核心研发 方剑(洛夜)自我介绍 "The microservice architectural Coordinate anything 提供微服务应用开发套件集合 Spring Cloud 生态 23123 Spring Cloud Nacos Sentinel Apache RocketMQ Seata Apache Dubbo Function Compute EDAS ACM Aliware MQ GTS AHAS MSE Micro Gateway 23123 PostgreSQL 23123 Spring Cache Redis Memcache 23123 Spring Resource OSS 23123 Spring Messaging Apache RocketMQ Aliware MQ 23123 Micrometer ARMS SLS Spring Cloud Alibaba 生态 2017.12 入驻 Spring

Day 1 Day 2 规 划 部 署 运 营 升级 在线 / 离线 KubeOperator 的开发团队和运作模式 • 由 Jumpserver 开源明星团队打造； • 遵循 Apache 2.0 开源许可协议 (github.com/kubeoperator)； • 通过云原⽣生计算基⾦金金会（CNCF）的 Kubernetes 软件⼀一致性认证。 KubeOperator 开源容器器平台的技术优势 KubeOperator 开源容器器平台企业版 KubeOperator 开源版 KubeOperator 企业版 • 开源的轻量量级 Kubernetes 发⾏行行版； • 基于 Apache v2.0 开源许可协议免费下载； • 助⼒力力企业规划、部署和运营⽣生产级别的 Kubernetes 集群； • ⽀支持 Kubernetes 集群按需伸缩和按需修补。 X-Pack