Alluxio 助力 Kubernetes， 加速云端深度学习 范斌 Alluxio 创始成员 车漾 阿里云高级技术专家 目录 • 我们是谁 • 问题背景 • Alluxio 助力云原生 AI 模型训练 • 相关资料 • Alluxio 是谁 • Allluxio 与 Kubernetes 结合 • Alluxio 优化实践 我们是谁？ 车漾 阿里云高级技术专家 范斌 POSIX接口客户端 Alluxio 服务器 Alluxio 服务器 大数据查询 大数据ETL 模型训练 Alluxio核心功能三：统一的文件系统抽象 Alluxio 服务器 Alluxio在云端AI训练场景的性能好处 • 支持大规模的数据缓存 • 本地内存加速 • 支持数据预热 • LRU缓存管理 Object storage (Fuse) Worker (local) Worker

云端图像技术的深度学习模型与应用 李东亮 360 人工智能研究院 lidongliang@360.cn 2017.10.20 SACC2017 360电脑安全产品 月活跃数达到4.42亿 360手机安全产品 移动端用户总数已达约1.49亿 360浏览器 月活跃用户数量为3.03亿 360导航 日均独立访问用户为8900万人 日均点击量约为4.51亿次 360搜索 稳定拥有35%以上的市场份额 SACC2017 万物互联的核心技术 视觉感知 语音感知 语义理解 人工智能 大数据分析 物 环境 SACC2017 图像 视频 检测 识别 分割 跟踪 物 环境 数 据 核 心 云端 移动端 业 务 视觉感知模型 SACC2017 视觉感知核心问题 Object Segmentation Object Classification Person, Horse,

器等）和⽤用户较远，对于实时性要求⾼高的计算需求，把计算放在云上会引起较⻓长的⽹网络延 时、⽹网络拥塞、服务质量量下降等问题。⽽而终端设备通常计算能⼒力力不不⾜足，⽆无法与云端相⽐比。在此情况下，边缘计算应运⽽而⽣生，将云端计算能⼒力力 延伸到靠近终端设备的边缘节点，就近提供服务。边缘计算不不是云计算的替代品，边缘计算减轻了了云计算架构的计算负担，是其补充和延伸。 云边协同才能够最⼤大程度的 方案，减少业务处理理时延。� ➔ 海海量量数据：物联⽹网时代边缘数据爆炸性增⻓长，难以直接回传⾄至云端且成本⾼高昂，数据在本地进⾏行行分析和过滤，节省⽹网络带宽。� ➔ 隐私安全：数据涉及到企业⽣生产和经营活动安全，在边缘处理理企业保密信息和个⼈人隐私。� ➔ 本地⾃自治：不不依赖云端的离线处理理能⼒力力和⾃自我恢复能⼒力力。� 低时延 海海量量数据 隐私安全 本地⾃自治 边缘计算应⽤用场景——智慧园区� 提⾼高园区住户体验。� ➔ 对监控视频智能分析，实时感知⼊入侵、⼈人流量量⼤大等异常事件，降低园区的⼈人⼒力力成本。� ➔ 端侧⼈人脸抓取，视频分析在边缘侧执⾏行行。云端管理理边缘应⽤用全⽣生命周期，⽆无缝升级。云端AI模型训练，边缘侧推理理。� 端� 边� 云� ⼈人脸 检测 模型� 容器器� ⼈人脸检测� ⼈人流分析� 周界检测� 模型和应⽤用推送、应⽤用管理理、边缘设备托管�

小样本和非同分布下，模型越用越聪明 ① 开发者：导入边缘AI Lib库, 开发边云协同联邦学习程序。 ② 启动联邦学习任务，部署训练 程序到边缘 ③ 多任务检测，划分Non-IID样本集，与云端配合识别相似任务 ④ 本地训练，模型参数上传云端，云端运行跨边迁移+模型聚合算法。 Cloud EdgeNode 1 EdgeNode 2 Sedna Federated-Learning Service API App Unseen Task Detect EdgeNode 3 App Unseen Task Detect ① 基于N个历史任务，完成云端知识库初 始化 ② 基于云端知识库，学习当前边侧任务 ③ 基于当前边侧任务，更新云端知识库 ④ 重复步骤2-3以处理M个未来任务 Cloud 任务模型 任务样本 1 2 3 4 N个历史任务 当前任务 M个未来任务 Lib ① 部署在不同边缘节点的多个摄像头，可以 提供不同视角、不同时间、不同光照的多 维度信息，以提升整体识别准确度。 ② 运行在不同边缘节点的AI算法可以灵活资源 卸载，包括卸载到其他边缘或云端，以提升 整体推理效率。 多边协同推理： 联合多边缘信息提升精度，卸载任务到多边缘提升资源利用率 Sedna-GM： 一个K8S Operator 第三部分 Operator：特定应用扩展K8S

高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题，计算量属于窄带范畴， 所以计算算力重点在于云端，云端计算体系架构成熟， 成本较低，在业务上本地的设备根据模式信号反馈一些 动作，比如下雨关窗帘，是自动化范畴，上传云端的数 据都是属性数据，比如谁什么时候干了什么，后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 度、或者提送广告内容等 度、或者提送广告内容等 自动化特征 智能家居 智能办公室 智能信号灯... 远端控制 云端分析系统 设备端 (现场)边缘计算BOX 业务场景复杂，对算力、通信要求很高，计算放置于 云端时效性差，另外无法现场就对业务进行处理，比 如计算路口交通事故预警，给予司机及时提示等，所 以将算力卸载在距离业务现场、设备最近的地方，就 是边缘计算的场景，它的价值空间远超AIoT，可以更 大范围为客户赋能，IoT和边缘计算一定走向融合。 口的交通事故识别和 预警等等需要低时延 高算力的场景，需要 实现云边一体纳管， 简化运维，降低成本， 客户专注于业务领域。 • 无论是AIoT还是边缘 计算，核心要素是计 算，计算平台的训练 平台位于云端，而推 理计算位于BOX端，并 且能够适应各类算法 和硬件的要求，形成 一个通用计算平台， 更普遍的为客户场景 赋能。 • 一切围绕如何将算力 输送到业务场景为中 心思想，构建技术体 系。 高

Oracle、SQL Server、PostgreSQL、ClickHouse、DB2；(X-Pack) ⾼清晰度 RDP 连接 ⽀持⾼清晰度 RDP 客户端连接；(X-Pack) 录像云端存储 录像云端存储，⽀持 S3、腾讯云 COS、阿⾥云 OSS、华为云 OBS、Ceph、Swift、Azure； Kubernetes管理 ⽀持对 Kubernetes 进⾏运维审计。 JumpServer X-Pack X-Pack X-Pack JumpServer 提供的特⾊功能 体验极佳的 Web Terminal ⼴泛类型 资产⽀持 超⼤规模 分布式资产⽀持 ⽀持审计录像 的云端存储 内置多租户体系 软件 / 硬件 灵活选择 体验极佳的 Web Terminal Linux Web Terminal Windows Web Terminal - 兼容纯浏览器和传统终端的访问模式 domain.jumpserver.com branch1.jumpserver.com 负载均衡 JS - A JS - B JS - N 核⼼区域 分⽀区域 注册 云存储 ⽀持审计录像的云端存储 - 云时代下不限容量审计录像存储 - SDS 公有云 Lion Koko Windows 资产 Linux 资产 NFS DC 特⾊功能 内置多租户体系 管理员 组织 /

0转」 48政企、创业者必读 如何解决 DeepSeek在政府、企业的应用问题？ 49政企、创业者必读 闭源云端通用大模型功能强大 但在政府企业场景中使用存在若干问题  训练知识为网上通用，缺少政府和企业内部知识，不懂业务，无 法解决实际问题  闭源模型云端部署，使用过程中数据外传上网，存在泄密风险  闭源模型规模庞大，无法为企业进行定制，无法本地部署  成本高昂，一般企业难以负担 每天拦截勒索攻击100万次、挖矿攻击1000万次、恶意网址7.5亿次、网络电信诈骗6000万次 云端响应服务 高级威胁溯源平台、安全大数据检索平台、安全风险研判平台、热点事件分析平台 分析研判平台 端 • 服务全球15亿终端 • 覆盖全球225个国家 和地区 终端探针密布 云 数 智 知识 人 云端数据汇聚 • 探针数据上传到云 端 • 20万台服务器 • 210个数据中心 • 上万条典型攻击脚本 强大专家团队 • 200+安全精英团队 • 3800+安全专家团 队 全网集中研判 全网统一处置 整合端、云、数、智、知识、人各环节核心要素，建立集中分析研判平台和云端响应服务 形成了一整套互联网模式的安全运营服务体系，全面覆盖B端和C端安全需求 这套安全体系被称为数字安全“中国方案”，受到微软、CrowdStrike 、卡巴斯基等全球同行的模仿和借鉴 76政企、创业者必读

更新⽇期：2025年2⽉8⽇ ⼀、简介 Deepseek R1 是⽀持复杂推理、多模态处理、技术⽂档⽣成的⾼性能通⽤⼤语⾔模型。本⼿册 为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯⽚适配、量化⽅案、云端替代⽅ 案及完整671B MoE模型的Ollama部署⽅法。 核⼼提示： 个⼈⽤户：不建议部署32B及以上模型，硬件成本极⾼且运维复杂。 企业⽤户：需专业团队⽀持，部署前需评估ROI（投资回报率）。 模型参数 推荐⽅案 适⽤场景 1.5B 太初T100加速卡 个⼈开发者原型验证 14B 昆仑芯K200集群 企业级复杂任务推理 32B 壁彻算⼒平台+昇腾910B集群 科研计算与多模态处理 四、云端部署替代⽅案 1. 国内云服务商推荐 平台 核⼼优势 适⽤场景 硅基流动 官⽅推荐API，低延迟，⽀持多模态模型 企业级⾼并发推理 腾讯云 ⼀键部署+限时免费体验，⽀持VPC私有化 中⼩规模模型快速上线 六、注意事项与⻛险提示 1. 成本警示： 70B模型：需3张以上80G显存显卡（如RTX A6000），单卡⽤户不可⾏。 671B模型：需8xH100集群，仅限超算中⼼部署。 2. 替代⽅案： 个⼈⽤户推荐使⽤云端API（如硅基流动），免运维且合规。 3. 国产硬件兼容性：需使⽤定制版框架（如昇腾CANN、沐曦MXMLLM）。 llama-gguf-split --merge DeepSeek-R1-UD