## 微服务架构云端应用 好雨云创始人 刘凡 ## 自我介绍 刘凡，好雨云创始人兼CEO。曾任澳客网 CTO和CEO职位。拥有超过12年互联网产品开发和管理经验，专注于互联网技术架构设计，对产品设计、敏捷开发、安全、OKRs、大数据等领域有深入研究。推崇反应式编程（http://www.reactivemanifesto.org/），并在多个产品中成功应用。 ## 大纲 01 微服务架构介绍

## Alluxio 助力 Kubernetes， 加速云端深度学习 范斌 Alluxio 创始成员 车漾 阿里云高级技术专家 ## 目录 - 我们是谁 - 问题背景 - Alluxio 助力云原生 AI 模型训练 - Alluxio 是谁 - Alluxio 与 Kubernetes 结合 - Alluxio 优化实践 - 相关资料 ## 我们是谁？ 大数据ETL TensorFlow 大数据查询 模型训练 Alluxio 服务器 Alluxio 服务器 Alluxio 服务器 Object Store HDFS ## Alluxio在云端AI训练场景的性能好处 • 支持大规模的数据缓存 • 本地内存加速 • 支持数据预热 • LRU缓存管理 ![Image](/uploads/documents/5/d/3/7/5d37b

# 云端图像技术的深度学习模型与应用 李东亮 360 人工智能研究院 lidongliang@360.cn 2017.10.20  ## 中国最大的互联网安全公司 360电脑安全产品 月活跃数达到4.42亿 360导航 日均独立访问用户为8900万人 视觉感知模型 环境  物 业务 核心 云端  移动端 图像 视频 检测

更新日期：2025年2月8日 ## 一、 简介 Deepseek R1 是支持复杂推理、多模态处理、技术文档生成的高性能通用大语言模型。本手册为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯片适配、量化方案、云端替代方案及完整671B MoE模型的Ollama部署方法。 核心提示： • 个人用户：不建议部署32B及以上模型，硬件成本极高且运维复杂。 • 企业用户：需专业团队支持，部署前需评估ROI（投资回报率）。 |---|---|---| |1.5B|太初T100加速卡|个人开发者原型验证| |14B|昆仑芯K200集群|企业级复杂任务推理| |32B|壁彻算力平台+昇腾910B集群|科研计算与多模态处理| ## 四、 云端部署替代方案 ### 1. 国内云服务商推荐 |平台|核心优势|适用场景| |---|---|---| |||| |硅基流动|官方推荐API，低延迟，支持多模态模型|企业级高并发推理| |---|---|---| 成本警示： 。70B模型：需3张以上80G显存显卡（如RTX A6000），单卡用户不可行。 671B模型：需8xH100集群，仅限超算中心部署。 ### 2. 替代方案： 。个人用户推荐使用云端API（如硅基流动），免运维且合规。 3. 国产硬件兼容性：需使用定制版框架（如昇腾CANN、沐曦MXMLLM）。 ## 七、 附录：技术支持与资源 • 华为昇腾：昇腾云服务

提供专属个人的服务，并且能够充分保障个人数据和隐私安全。为此，公共大模型和个人大模型混合部署、满足用户需求正愈加成为产业共识，混合人工智能日益成为未来AI更好、跟专属地服务于每一个人的发展趋势。通过云端的公共大模型和本地大模型之间的混合，可以让每一个人都拥有自己的个人大模型，实现AI真正惠及到每一个人。 这样的混合人工智能，对承载本地大模型的终端的交互能力、智能算力、应用场景、安全保护等方面都提 8d6a/13be88a0.png) 来源：IDC，2023 ' alt='OCR图片'/> ## 1.1 个人大模型的特征和普惠要求 大模型的计算负载不断从云端向终端下沉，公共大模型和本地大模型混合利用组合形成个人大模型。个人大模型既要继承公共大模型强大的能力，又要能够为个人所有、提供个性化专属服务，从而满足用户多方面的需要。 ## 能够进行多模态自然语言交互 学习；模型压缩则是通过剪裁、量化等方法对模型进行压缩。这些技术可以减小模型的尺寸和复杂度，同时保留其核心能力，而不会显著牺牲其AI能力。在保证模型性能的同时，大模型可以在资源有限的设备上运行，再辅以云端强大AI能力的支持，个人大模型的通用场景服务能力才能得以保证。 ' alt='OCR图片'/> ## 需要强AI算力进行推理 对于个人大模型的普及应用而言，终端

云计算是集中化的，离终端设备（如摄像头、传感器等）和用户较远，对于实时性要求高的计算需求，把计算放在云上会引起较长的网络延时、网络拥塞、服务质量下降等问题。而终端设备通常计算能力不足，无法与云端相比。在此情况下，边缘计算应运而生，将云端计算能力延伸到靠近终端设备的边缘节点，就近提供服务。边缘计算不是云计算的替代品，边缘计算减轻了云计算架构的计算负担，是其补充和延伸。云边协同才能够最大程度的发挥作用。连上云的边才 低时延：为满足低时延的要求，需要在离业务现场最近的边缘构建解决方案，减少业务处理时延。 海量数据：物联网时代边缘数据爆炸性增长，难以直接回传至云端且成本高昂，数据在本地进行分析和过滤，节省网络带宽。 隐私安全：数据涉及到企业生产和经营活动安全，在边缘处理企业保密信息和个人隐私。 本地自治：不依赖云端的离线处理能力和自我恢复能力。 ## 边缘计算应用场景——智慧园区 ## 人脸检测 人脸检测模型 人流监控模型 周界检测模型 析实现从人防到技防，提升园区运营效率，提高园区住户体验。 → 对监控视频智能分析，实时感知入侵、人流量大等异常事件，降低园区的人力成本。 端侧人脸抓取，视频分析在边缘侧执行。云端管理边缘应用全生命周期，无缝升级。云端AI模型训练，边缘侧推理。 ## 边缘计算应用场景——智能家居 智能电器控制 ## 摄像头 ![Image](/uploads/documents/8/6/b/4/86b47

Lib库，集成边云协同增量学习功能 ② 部署业务APP，启动增量学习 ## 边云协同联邦学习：孤岛数据不出边缘，知识聚合产生模型 ③ 多任务检测，划分Non-IID样本集，与云端配合识别相似任务 ④ 本地训练，模型参数上传云端，云端运行跨边迁移+模型聚合算法。  ① 基于N个历史任务，完成云端知识库初始化 ② 基于云端知识库，学习当前边侧任务 ③ 基于当前边侧任务，更新云端知识库 ④ 重复步骤2-3以处理M个未来任务 ④ 否则送到云上大模型推理 ## 边云协同推理： 边侧资源受限条件下，提升整体推理性能 业务用户: 物业/安保/管理人员 [Image](/uploads/documents/1/1/9/9/1199e88c64788228f6adafa316b1feba/p15_1.jpg) ② 运行在不同边缘节点的AI算法可以灵活资源卸载，包括卸载到其他边缘或云端，以提升整体推理效率。 ① 部署在不同边缘节点的多个摄像头，可以提供不同视角、不同时间、不同光照的多维度信息，以提升整体识别准确度。 第三部分 ## Sedna-GM: 一个K8S Operator

Local AI Agents 模型跑起来只是第一步。接下来，让它真正为你工作。 为什么要接入Agent 模型跑起来了，能聊天，能回答问题。但说实话，拿本地模型当聊天机器人，有点浪费。 聊天这件事，云端模型做得更好。Claude、GPT、Gemini的在线版，对话质量还是比本地模型强不少。 本地模型真正有意义的用法是：当你自己的私有AI后端。 比如处理本地文档、辅助写代码、分析数据、自动化工作流。 penClaw连着API端口，两边各干各的。 在OpenClaw中配置 配置的核心就一件事：把API endpoint指向本地。 打开OpenClaw的Settings，找到模型配置，把API地址从云端改成本地。如果你用Ollama，就填 http://localhost:11434/v1；用llama.cpp就填 http://localhost:8080/v1。 配置文件位置在 ~/.openclaw/openclaw gging Face有意为之。发布当天，本地Agent的接入路径就已经铺好了。 一个完整的工作流 把上面这些串起来，一个典型的工作流长这样： 处理文档、写代码、分析数据、整理文件。这些任务不需要云端最强的能力，但需要隐私、需要免费、需要随时可用。Gemma426BA4B在这些场景下够用了。 举个例子：你有一批本地PDF需要提取关键信息整理成表格。以前你可能会传到ChatGPT或Claude，现

(X-Pack)高清晰度 RDP 连接支持高清晰度 RDP 客户端连接; (X-Pack)录像云端存储录像云端存储, 支持 S3、腾讯云 COS、阿里云 OSS、华为云 OBS、Ceph、Swift、Azure;Kubernetes管理支持对 $ ^{②} $ ：此表制作时间为 2023 年 10 月，未来会根据产品迭代情况及时更新。 ## JumpServer 提供的特色功能 体验极佳的 Web Terminal 支持审计录像的云端存储 广泛类型 资产支持 内置多租户体系 超大规模 分布式资产支持 软件 / 硬件 灵活选择 ## 体验极佳的 Web Terminal - 兼容纯浏览器和传统终端的访问模式 - 负载均衡 负载均衡 分支区域 JS - 1 JS - 2 JS - A JS - B JS - N Redis 集群 MySQL 集群 统一存储 ## 特色功能 ## 支持审计录像的云端存储 - 云时代下不限容量审计录像存储 -