KUBERNETES 的 容器器 + AI 平台 如何助⼒力力企业数字化和智能化转型 xiaoqin@caicloud.io VP of R&D 提纲 构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用（机器器学习） - com/caicloud/cyclone Cyclone 技术架构 云原⽣生 CI/CD 引擎 设计 - 云原⽣生，k8s 亲和性 性能 - 为企业场景优化 扩展性 - ⽀支持 AI ⼯工作流 运⾏行行 AI 应⽤用 KUBEFLOW 的应⽤用 • Kubeflow 社区的联合创始⼈人 • kubeflow/tf-operator • 定义 TFJob Spec (CRD) ⽀支持分布式 TensorFlow 任务 KUBEFLOW 之上 • 借⼒力力容器器平台提供⽣生产级的集群资源管理理 • ⼯工作区隔离与共享 • 数据、模型、环境、应⽤用等 • 全⾯面⽀支持 AI ⼯工作流 • 探索开发 • 线上运⾏行行 关注并回复 kubecon18 P7 展台

understanding, text generation, vision understanding, audio understanding, tool use, role play, playing as AI agent, etc. 最新版本 Qwen1.5 有以下特点： • 6 种模型规模，包括 0.5B、1.8B、4B、7B、14B 和 72B； • 针对每种尺寸提供基础模型和 Chat 模型，并确保聊天模型按照人类偏好进行校准； 模型，并确保聊天模型按照人类偏好进行校准； • 对基础模型和 Chat 模型的多语言支持 • 基础模型和聊天模型都支持多种语言； • 支持工具调用、RAG（检索增强文本生成）、角色扮演、AI Agent 等； 想了解更多信息，欢迎访问： • 博客 • GitHub • Hugging Face • ModelScope • Qwen1.5 Collection 加入社区，加入 Discord OOM 问题。这也是为什么您发现一个大型语言模型服务总是占用大量内存的原因。 1.11 SkyPilot 1.11.1 SkyPilot 是什么 SkyPilot 是一个可以在任何云上运行 LLM、AI 应用以及批量任务的框架，旨在实现最大程度的成本节省、最 高的 GPU 可用性以及受管理的执行过程。其特性包括： • 通过跨区域和跨云充分利用多个资源池，以获得最佳的 GPU 可用性。 • 把费用降到最低——SkyPilot

Kubernetes 与 AI 相结合架构、 落地解析（从 0 到 1 赵慧智 技术总监 （才云科技 Kubernetes 介绍 Kubernetes 使用 Kubernetes 部署与企业对接 AI 技术介绍 AI 云平台介绍及构成 AI 与 Kubernetes 融合与架构解析 • 是一套集自动部署，弹性扩容，并且基于容器的集群管理工 具。 • 快速部署应用程序 上的软件架构：Kubernetes 与 container 通信，Node 的分类 Kubernetes 介绍 Kubernetes 使用 Kubernetes 部署与企业对接 AI 技术介绍 AI 云平台介绍及构成 AI 与 Kubernetes 融合与架构解析 Kubernetes 基本概念 - Pod • Pod 是 Kubernetes 中最小 的资源 • 一个 Pod 包含一个或多个 Controller • Volume • Kubectl Kubernetes 介绍 Kubernetes 使用 Kubernetes 部署与企业对接 AI 技术介绍 AI 云平台介绍及构成 AI 与 Kubernetes 融合与架构解析 Kubernetes 企业级架构 ���! OpenStack! �����! PAAS OpenAPI! ����

方案设计篇：如何设计可落地的AI解决方案 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 行业背景：AI新零售是什么? • 用户需求：线下门店业绩如何提升？ • 长期⽬目标：货架数字化与业务智能化 • 短期目标：自动化陈列审核和促销管理 • 方案设计：基于深度学习的检测/分类的AI流水线 • 方案交付：支持在线识别和API调用的 AI SaaS 目录 行业背景：AI新零售是什么 ——《C时代 新零售——阿里研究院新零售研究报告》 新零售知识框架 ——《C时代 新零售——阿里研究院新零售研究报告》 数字经济基础设施 ——《C时代 新零售——阿里研究院新零售研究报告》 AI：贯穿新零售全流程 ——《C时代 新零售——阿里研究院新零售研究报告》 AR/VR：虚实结合的消费体验 ——《C时代 新零售——阿里研究院新零售研究报告》 传感器和IoT：提升门店消费体验 基于深度学习的检测/分类的AI流水线 货架商品检测 货架商品检测 Bottle（瓶装） Combination（组合装） 货架商品检测 Bottle（瓶装） Combination（组合装） Bbox: [12, 33, 45, 89] 货架商品识别 雪碧 可口可乐 七喜 货架商品识别 雪碧, 0.96 可口可乐, 0.89 七喜, 0.94 商品识别 AI 流水线 [[Bbox1]

（Unsupervised pre-training） 不需要标注数据集，即大规 模自学阶段，在保证AI算力 充足的条件下，根据 attention机制进行自学 有监督微调 （Supervised fine-tunning) 微调，用来修正模型理解力。 即小规模指导过程，让AI在 小样本数据下进行调整 结合形成了一种使用无监督预训练和有监督微调相结合的语言理解任务的“半监督方法” 调整优化的目的是为了解决零 次 学 习 问 题 （ zero-shot ） （ 注 ： zero-shot问题，就是针对AI在面对 不认识的事物时，也能进行推理） • 多任务模型的特点：跟传统ML需要专 门的标注数据集不同（从而训练出专 业AI），多任务模型不采用专门AI手 段，而是在海量数据喂养训练的基础 上，适配任何任务形式。 ✓ 转向更通用的系统，使其可以执行许 多任务，最终无需为每个任务手动创 建和标记训练数据集。 ✓ 机器学习系统通过使用大型数据集、高容 量模型和监督学习的组合，在训练任务方 面表现出色，然而这些系统较为脆弱，对 数据分布和任务规范的轻微变化非常敏感， 因而使得AI表现更像狭义专家，并非通才。 GPT-2要 解决和优 化的问题 ◼ GPT-2（2019.2）在GPT-1的基础上进行诸多改进，实现执行任务多样性，开始学习在不需要明确监督的情 况下执行数量惊人的任务

availability through redundancy. 26 Chapter 3. What’s Next Kyuubi, Release 1.9.0-SNAPSHOT Key Benefits • High concurrency – By adding or removing Kyuubi server instances can easily scale up or down scheduling increases GC issues and OOM risks of Spark ThriftServer. Kyuubi has no problem in this area due to the separation of the server and engines. The UDF risks cannot harm the stability of the service 0-SNAPSHOT Generative Tooling Usage In general, the ASF allows contributions co-authored using generative AI tools. However, there are several considera- tions when you submit a patch containing generated content

balancing instead of a single unit may increase reliability and availability through redundancy. Key Benefits • High concurrency – By adding or removing Kyuubi server instances can easily scale up or down scheduling increases GC issues and OOM risks of Spark ThriftServer. Kyuubi has no problem in this area due to the separation of the server and engines. The UDF risks cannot harm the stability of the service md. Generative Tooling Usage In general, the ASF allows contributions co-authored using generative AI tools. However, there are several considera- tions when you submit a patch containing generated content

balancing instead of a single unit may increase reliability and availability through redundancy. Key Benefits • High concurrency – By adding or removing Kyuubi server instances can easily scale up or down scheduling increases GC issues and OOM risks of Spark ThriftServer. Kyuubi has no problem in this area due to the separation of the server and engines. The UDF risks cannot harm the stability of the service md. Generative Tooling Usage In general, the ASF allows contributions co-authored using generative AI tools. However, there are several considera- tions when you submit a patch containing generated content

reliability and availability through redundancy. 26 Chapter 3. What’s Next Kyuubi, Release 1.8.1 Key Benefits • High concurrency – By adding or removing Kyuubi server instances can easily scale up or down scheduling increases GC issues and OOM risks of Spark ThriftServer. Kyuubi has no problem in this area due to the separation of the server and engines. The UDF risks cannot harm the stability of the service md. Generative Tooling Usage In general, the ASF allows contributions co-authored using generative AI tools. However, there are several considera- tions when you submit a patch containing generated content

balancing instead of a single unit may increase reliability and availability through redundancy. Key Benefits • High concurrency – By adding or removing Kyuubi server instances can easily scale up or down scheduling increases GC issues and OOM risks of Spark ThriftServer. Kyuubi has no problem in this area due to the separation of the server and engines. The UDF risks cannot harm the stability of the service md. Generative Tooling Usage In general, the ASF allows contributions co-authored using generative AI tools. However, there are several considera- tions when you submit a patch containing generated content