需要一个可视化指南来 理清不同 AI 的类别和功能（即使在 JavaScript 生态系统十分混乱的时期，我们也从未采取过这样的做法）。作 为一家开创 CI、CD 等突破性工程实践历史的软件咨询公司，我们对于使用 AI 辅助软件开发特别感兴趣。因此， 本期技术雷达讨论了许多代码辅助工具，如 GitHub Copilot、Tabnine 和 Codeium。我们兴奋于 open-source 聊天机器人。如 果机器人无法达成客户的目标，它会认识到自己的限制并将客户引导到人工处理。这种方法显然仍处于早期发 展阶段：自主代理通常存在高失败率和高昂的 AI 服务费用，至少有一家 AI 初创公司已经从代理为基础的方法转 向其他方向。 20. 平台编排 评估 随着平台工程的广泛采纳，我们看到了新一代的工具，它们超越了传统的平台即服务（PaaS）模型，为开发人 员和平台团队之间提供了 大语言模型（LLMs）通常需要大量的 GPU 基础设施才能运行，但目前有强烈的推动力使它们可以在更简单的 硬件上运行。对大语言模型进行量化可以减少内存需求，使高保真度模型可以在成本更低廉的硬件甚至是 CPU 上运行。像 llama.cpp 这样的工作使大语言模型可以在包括树莓派、笔记本电脑和通用服务器在内的硬件上运 行成为可能。 许多组织正在部署自托管式大语言模型。这往往是出于安全或隐私方面的考虑，有时是因为需要在边缘设备上

Alluxio 是谁 • Allluxio 与 Kubernetes 结合 • Alluxio 优化实践 我们是谁？ 车漾 阿里云高级技术专家 范斌 Alluxio 创始成员 背景 硬件 软件 数据 容器化的基础架构 人工智能发展的驱动力 模拟数据训练速度 311.6 7323.84 9993.6 33884.8 0 5000 10000 15000 20000 25000 P100 (1GPU) P100 (32GPU) V100 (8GPU) V100 (32GPU) RestNet50 模型训练速度（images/second） 分布式训练/GPU硬件升级加速明显 模拟数据训练时间 108 15.12 4.62 3.39 1 0 20 40 60 80 100 120 P100 (1GPU) P100 (8GPU) P100 （images/second） 云盘 Alluxio - 分布式缓存的领导者 开源项目由李浩源博士(Alluxio公司CEO)在加州大学Berkeley分校 AMPLab就读期间创立 2013 2015 由硅谷著名投资公司Andreessen Horowitz投资，公司在2015年在 旧金山湾区成立，致力于推动开源项目和社区以及商业化 8 面向大数据和AI应用的内存级数据编排系统 数据编排层(Data

专家工程师，2009 年加入腾讯，现任数据平台部容器云开发组组长。 拥有多年分布式系统研发经验，对大数据、云计算、容器等有深刻理解。从事过自研容 器云平台，大数据云平台，以及面向公司内外的通用容器云平台，从无到有，从自研到 开源生态，从公司内部平台到同时面向To B市场。目前专注于容器云平台领域，负责腾 讯企业级容器云平台 。 2009年-2013年 2014年-今 2015年-今 自研容器云平台 腾讯大数据云 NVIDIA GRID 在硬件层面实现GPU虚拟化，每个容器可以绑定一个虚拟GPU NVIDIA Docker 通过将GPU设备及运行时的库转为volume挂载到容器中实现了容 器与驱动的解耦。但是一个GPU设备仅能挂载到一个容器中，不 支持容器间共享GPU设备 ConvGPU 仅支持内存资源的共享且仅处理单个GPU 容器使用GPU的问题： • 需要特定的硬件设备 • 不支持容器共享 • • 仅支持内存资源虚拟化 • 仅支持单个GPU卡 采用Device Plugin： • GPU资源的发现 • 为任务分配相应的硬件 资源及配置容器运行时环境 transparent. GaiaGPU不应修改Kubernetes代码或容器镜像以共享GPU。使用共享GPU执行应用程序应该就像 在物理GPU上执行一样。 Performance. GaiaGPU应当保证vGPU的性能与原生GPU性能相近。

CNCF是围绕Kubernetes构建容器软件全栈的基金会组织，提供Kubernetes和周边软件的技术孵化和服务提供商资质认证 6 容器技术迅猛发展，Kubernetes主宰容器编排调度引擎市场 2017年10月，Docker公司宣布支持Kubernetes 2017年10月17 日，在 DockerCon 欧洲大会上，容器供应商 Docker 宣布重磅消息，将拥抱容器编排对手Kubernetes。 在全球3大容器调度 容器吞吐量增长1倍，但是cpu资源的占用 却只多出60%左右，同时裸金属容器的进 程占用的内存减少10%。 11 国内首发Windows容器服务：帮助企业实现海量Windows应用轻松容器 化上云 根据第三方咨询公司统计，大约有80%以上的企业现有系统仍是通 过Windows Server部署运维在服务器上，统计显示Windows Server在x86伺服器中的市占率高达6成。 CCE推出基于Kubernetes的Windows 案例：打通线下开发、测试和线上部署、运维自动化流程，助力成都某互联网公司 提升业务发放速度和运维效率 Node Node Node 集群 CCE 云容器引擎 部署 SWR容器 镜像仓库 研发交付 容器镜像 Node 客户问题： •用户流量存在明显波峰波谷，传统部署方式伸缩效率低 •服务器开服频繁，传统部署耗时长 •特性迭代快速，升级频繁，传统方式效率低，断服时间长 •公司遗留内部运维（CI/CD）系统，需要对接公有云

快速部署应用程序 • 弹性负载均衡 • 无缝升级应用 • 硬件隔离 Kubernetes 介绍 LXC (Linux Container) 介绍 在单一系统的内核层通过一套 API 在应用层提供硬件及软 件环境隔离的 Linux 环境（containers 。在内核层，通过 cgroup 来提供硬件环境的隔离（例如 CPU，Memory， Block I/O，网络等等 和通过 用来将需要容器化的应用程序及其环境进行打包后存储的镜像。 • 通常会有一个 Image 管理仓库来存储 Image。 • 同一个 Image 会有版本记录。 • 只包含软件环境的配置 • 硬件配置需要运行时去指定 OCI (Open Container Initiative) • From Linux Foundation • 旨在为 Container 格式和运行时创建开放行业标准。 运行时规范（runtime-spec • Image 规范（image-spec Container 管理工具 (User Space) 如何通过 Docker 启动 Container 并与硬件绑定 官方文档参考： https://docs.docker.com/engine/admin/resource_constraints/ Kubernetes 架构 Kubernetes

Kubernetes是⼀个旨在⾃动部署、扩展和运⾏应⽤容器的开源平台 。 使⽤Kubernetes，您可以快速有效地回应客户需求： 快速、可预测地部署应⽤。 动态缩放您的应⽤。 ⽆缝地推出新功能。 仅对需要的资源限制硬件的使⽤ 我们的⽬标是构建⼀个⽣态系统，提供组件和⼯具以减轻在公共和私有云中运⾏应⽤程序的负担。 Kubernetes是 可移植: 共有、私有、混合、多云 可扩展: 模块化、可插拔、提供Hook、可组合 件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟化。这些容器彼此隔离并且与宿主机隔离：它们有 ⾃⼰的⽂件系统，看不到对⽅的进程，并且它们的计算资源使⽤可以被界定。它们⽐VM更容易构建，并且由于它们与 底层基础架构和宿主机⽂件系统解耦了，可实现跨云、跨操作系统的移植。 ：在笔记本电脑运⾏与云中⼀样。 云和操作系统可移植性 ：可运⾏在Ubuntu、RHEL、CoreOS、内部部署，Google Container Engine以及任何其他 地⽅。 以应⽤为中⼼的管理：从在虚拟硬件上运⾏操作系统的抽象级别，提升到使⽤逻辑资源在操作系统上运⾏应⽤程序 的级别。 松耦合，分布式，弹性，解放的微服务：应⽤程序分为更⼩、独⽴的部件，可动态部署和管理——⽽不是⼀个运⾏ 在⼀个⼤型机上的单体。

Office 365、 Dynamics 365 以及 Azure 三大生态充分打通，形成完整的技术生态。 二是更注重软硬协同，优化性能。在算力多样化、节点高密化、载 体细粒度化等诉求下，底层硬件在云计算的驱动下也因云而变。2022 年 6 月，阿里云发布 CIPU（Cloud infrastructure Processing Units，云 基础设施处理器），其是一套全新的计算架构体系，能够在通用计算、 7 应用现代化架构图 架构层面，一云多芯既可以贴合多元算力新需求，又能够支撑 业务场景多形态。一云多芯作为云计算的全新技术架构，通常指用 一套云操作系统来管理不同类型芯片、架构、接口、技术栈等硬件 服务器集群。在如今算力需求爆炸的 AI 时代，一云多芯为各行各业 践行数字化转型提供了有力支持。一方面，它可以提供统一管理、 云计算白皮书（2023 年） 17 灵活便捷的算力资源，一定程度上解决了不同类型芯片的共存问题； 华为云等厂商均在政务领域有落地实践，利用一云多芯技术打造具 有安全性和高效性的政务云平台。同时，一云多芯已逐渐完成从底 层硬件至上层云原生应用的多芯全栈式适配兼容。作为 IT 产业发展 承上启下的关键环节，一云多芯不仅可以对底层各种异构资源统一 调度，还可以实现对上层应用和软件的适配操作，同时保证云平台 性能高效稳定。硬件芯片方面，通过屏蔽底层芯片差异实现资源池 化，从而满足对各种芯片的统一调度，这不仅包含对飞腾、鲲鹏、

⽹网络：云和边缘之间的⽹网络可靠性和带宽限制。� ➔ 管理理：边缘节点的资源管理理与边缘应⽤用⽣生命周期管理理。� ➔ 扩展：⾼高度分布和⼤大规模的可扩展性。� ➔ 异构：边缘侧异构AI硬件接⼊入。� Why KubeEdge� KubeEdge通过更更优的架构和技术实现，完美应对边缘计算遇到的挑战：� ➔ 通过将AI能⼒力力、⼤大数据能⼒力力等延伸到边缘，解决与云上服务的数据 通过在云边之间构建的双向多路路复⽤用⽹网络通道，解决了了从云端管理理⾼高度分布的海海量量节点和设备难的问题。� ➔ 南向⽀支持对接物联⽹网主流的通信协议（MQTT，Bluetooth，Zigbee，BACnet等），解决了了异构硬件接⼊入难的问题。� 开源的云、边协同边缘计算框架 Why KubeEdge——CNCF & Kubernetes & KubeEdge� Central Cloud� Edge 1� Edge

⽬ 录 为什么要建设私有云 01 公司当前技术现状 02 私有云建设⽅案 03 私有云建设收益 04 遇到的问题 05 未来规划 06 为什么要做私有云？ 公司规模扩⼤⾯临的常态问题 • ⾼速增⻓的业务和低下的资源利⽤率 • 需要⾼效的扩缩容和部署效率 • 复杂的业务场景带来了层出不穷的异构机型 • ⾼昂的机房成本投⼊ 公司当前的技术现状 微服务现状 •服务数量暴涨

这些计算技术及背后的前因后果和整个历史脉络，才能确保团队在学习和使用这些技术的过 程中，有足够的背景知识可以完成部署及部署之后可能会出现的各种技术问题。 Alauda Kubernetes (AKS) 是由灵雀云公司推出的一款 Kubernetes 商业化工具平台，提供 了一键部署 Kubernetes，同时解决 Kubernetes 使用难等问题。 2. 产品架构 Alauda Kubernetes 粒度权限管理体系，让权限管理不再复杂。 ² 账号体系管理 无缝集成企业内部账号体系，支持对接 LDAP、OAuth 2.0、OIDC、SAML 等协议的企 业内部用户系统，满足企业内部分公司、部门等多级管理方式的需求，实现统一登录与 权限管理。 ² 定制化解决方案 网络和存储可根据用户的使用场景，提供定制化解决方案。 4. 产品特点 Alauda Kubernetes