训练数据： 假设函数： 使用 TensorFlow 实现房价预测模型 使用 TensorFlow 训练模型的工作流 数据读入 数据分析 数据 规范化 创建模型 (数据流图) 创建会话 (运行环境) 训练模型 数据分析库：Pandas Pandas 是一个 BSD 开源协议许可的，面向 Python 用户的高性能和易于上手的数 据结构化和数据分析工具。 数据框（Data NumPy 是一个 BSD 开源协议许可的，面向 Python 用户的基础科学计算库，在多 维数组上实现了线性代数、傅立叶变换和其他丰富的函数运算。 X y 创建线性回归模型（数据流图） 创建会话（运行环境） 使用 TensorBoard 可视化模型数据流图 TensorBoard 可视化工具 在数据处理过程中，用户通常想要可视化地直观查看数据集分布情况。 在模型设计过程中，用户往往需要分析和检查数据流图是否正确实现。 TensorBoard 可视化数据分布 TensorBoard 可视化数据集（MNIST） TensorBoard 可视化数据流图 TensorBoard 使用流程 可视化的数据是数据流图和张量，它们需要在会话中加载或执行操作后才能获取。然后， 用户需要使用 FileWriter 实例将这些数据写入事件文件。最后，启动 TensorBoard 程序， 加载事件文件中的序列化数据，从而可以在各个面板中展示对应的可视化对象。

 业余爱好： 骑行 个人简介 电子邮箱： jim.cheng@ususing.com 5 议程 • 深度学习与商品搜索  矢量化搜索技术简介  基于词语聚类的矢量化  基于用户会话的矢量化  原型评测结果及效果示例 • 深度学习与聊天机器人  聊天机器人简介  聊天机器人主要模块及架构  深度学习探索  聊天机器人评测结果 6 • 语义词汇差异  理发器， Nadella, Microsoft CEO 18 应用示例：苏宁易购机器人Sunny，百度度秘，Amazon Echo 19 问题分析与用户分析 网页前端 移动应用前端 系统架构图 会话分析 用户意图识别 检索模块 段落或句 子检索 文档检 索 专业检索接口： 商品参数接口 商品价格接口 商品信息接口 商品卖点接口 促销活动接口 订单信息接口 语法语义分析 用户画像 你好，我买了两台空调，想问下安装 咋收费的呀？ =》售后服务 问问你，苹果6与6S的运行内存都是1G 吗? =》商品研究 订单能不能改成货到付款？ =》订单查询 23 深度学习模型： 从会话历史数据中学习回答问题 模型参数： Dropput rate: 0.5 Learning rate: 0.0001 Embedding dimensions: 1024 Mini-batch size:

第三代: 意图导向 人-机交互会话的发展 语音 & 文本 “Chatbots” Alexa 应用 在手机、Web以及 设备上的语音交互 在Slack & Messenger 上的文本交互 企业应用 Salesforce Microsoft Dynamics Marketo Zendesk Quickbooks Hubspot Lex: 构建自然的通过语音和文本的会话交互 不断提升的 人性化交互…

没有GPUs集群资源管理和调度（内存、CPU、GPU、 端⼝），集群资源负载不均� • 训练数据⼿动分发，训练模型⼿动保存� • 进程遗留问题，需要⼿动杀死� • 缺乏作业统⼀管理，不便对作业运⾏状态跟踪� • 日志查看不⽅便� � 总结：� TensorFlow使用现状及痛点 • 集群资源的管理（目前支持CPU、内存，需要扩展GPU 资源管理）� • 作业的统⼀管理、状态跟踪� Pool）的划分� • 作业进程的资源隔离� Yarn能解决什么问题：� TensorFlow on Yarn设计 • 同时支持单机和分布式TensorFlow程序� • 支持GPU资源管理和调度� • 不再需要⼿动配置CluserSpec信息，仅需要设置work 和ps的数量� • 训练数据和训练模型基于HDFS统⼀存储� • 作业训练结束自动回收work、ps和Tensorboard进程� public abstract void setGpuCores(int gCores);� � 最终在ResourceManager端需要完成：� 1、对NodeManager GPU卡数量的统计管理� 2、调度器统计管理每个Pool的GPU设备数的分配情况� � 具体可以参考下面Patch的实现思路：� https://issues.apache.org/jira/browse/YARN-5517� TensorFlow

TensorFlow 2项目进阶实战》视频课程 • 行业背景：AI新零售是什么? • 用户需求：线下门店业绩如何提升？ • 长期⽬目标：货架数字化与业务智能化 • 短期目标：自动化陈列审核和促销管理 • 方案设计：基于深度学习的检测/分类的AI流水线 • 方案交付：支持在线识别和API调用的 AI SaaS 目录 行业背景：AI新零售是什么? 人类零售演进史 ——《C时代 新零售——阿里研究院新零售研究报告》 产品价格指数 • 促销执行统计 客户需求：棚格图推荐设计与销量预测 如何落地项目第一期？ 短期目标：自动化陈列审核和促销管理 业务落地基础：货架数字化 SKU 种类 数量 位置 品类 占比 货架 设计 场景 层数 编号 业务落地：自动化陈列审核和促销管理 陈列 必分销 新品 纯度 排面 SKU 种类 数量 位置 品类 占比 货架 设计 场景 层数 Showcase AI SaaS Showcase AI 通用物品识别平台架构 品 识 AI 中 台 AI 算法库 AI 核心模块 AI 行业模型 数据集 模型训练 模型管理 AutoML AI 物品库 服务管理 模型压缩 棚格图识别 货架巡检 商品推荐 陈列审核 入库审计 货物盘点 构件识别 CAD解析 规则审查 户型图识别 视频盘点 自动分拣 细粒度识别 目标检测

自建识别模型 加大审核人力 一旦出现严重违规平 台面临停业整顿风险 昂贵的专业机器、AI专家, 样本不足导致识别模型漏 过模型调优难度大 人力审核疲劳容易发 生漏过，人力招聘、 管理需要耗费不小成 本 识别种类 完备 节约成本 节省审核 人力 减少人工 漏审 技术诉求：自动识别图片或视频中出现的文 字、二维码、logo等内容以及违规人像、淫 秽、血腥、暴力、极端主义、恐怖主义图像 Job 1 Train Job 1 Val Job 2 WK Job 2 WK Job 3 监控/启停 任务调度/资源管理 监控上报 cephfs存储集 群 本地文件系统 数据 模型/日志 client 管理数据 提取模型、 查看日志 提交/管理任务 用户 docker.oa.co m 自动拉取镜像 Redis 冷数据 热任务/监控数据/集群信息 • 任务监控与自动重启 任务监控与自动重启 • 分布式多机训练，不可避免遇到由于硬件/网 络波动引起的异常 • 监控任务运行状况，当任务发生异常时，选 择不同的重启策略 • 集群管理与监控 • 节点心跳异常告警 • 运维工具化，快速屏蔽/启动异常机器 • 灵活的资源分配 • 支持以 GPU 或节点为粒度进行资源分配 • 用户配置任务所需最小资源 • 自动扩缩容，最大化资源使用率 • 支持不同计算框架 •

代码文件(.py 格式)。 这里选择安装集成了 Python 解释器和虚拟环境等一系列辅助功能的 Anaconda 软件， 用户通过安装 Anaconda 软件，可以同时获得 Python 解释器、包管理和虚拟环境等一系列 便捷功能，何乐而不为呢。首先从 https://www.anaconda.com/distribution/#download-section 网址进入 Anaconda 下载页面，选择 28 CUDA 安装结果测试-1 图 1.29 CUDA 安装结果测试-2 1.6.3 PyTorch 安装 PyTorch 和其他的 Python 库一样，使用 Python 包管理工具 pip install 命令即可安装。 官方推荐采用 conda install 命令安装。打开 https://pytorch.org/网页，选择 Windows 操作系 统、Conda 安装方式、Python 1 手写数字图片数据集 3 目前常用的深度学习框架，如 PyTorch (Paszke, 以及其他人, 2019)、TensorFlow 等， 都可以非常方便地通过数行代码自动下载、管理和加载 MNIST 数据集，不需要开发者额 外编写代码，使用起来非常方便。这里利用 PyTorch 附带的 torchvision 库自动在线下载 MNIST 数据集，并转换为 PyTorch 的数据对象

�推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 模型 管理 上线 管理 ⽆量 RGW/Cos/ kafka 样本 存储 实时样本 ⽣成服务 离线样本 ⽣成任务 数据 通道 特征 处理 模型 登记 模型 上线 预测 请求 数据 落地 ⽆量 ⽤户⾏为数据上报 异步storage线程，⽀持基于冷热数据的多级存储。内存消 耗下降30%-70% 磁盘 训练 Lookup+ pooling 算⼦融合 Unique keys Storage 近期训练 参数管理 需保持顺 序，以保证 训练效果 样本读取 样本解析 基于GPU的多级存储训练：更⾼的性价⽐ � 推荐模型GPU训练的挑战 � 显存（A100最⼤80GB）放不下TB级的模型 � GPU多线程并⾏计算能⼒对稀疏数据不友好

• TensorFlow 2 开发环境搭建 • 使用 tf.keras.datasets 加载数据 • 使用 tf.data.Dataset 加载数据 • 使用 tf.keras.Model 管理模型 • Fashion MNIST 数据集介绍 • 使用 TensorFlow 2 训练分类网络 目录 TensorFlow 2 开发环境搭建 TensorFlow 2 支持的操作系统 from_generator 加载 Generator 使用 tf.data.TextLineDataset 加载文本 “Hello TensorFlow” Try it！ 使用 tf.keras.Model 管理模型 历史上的 tf.keras.Model • Class tf.compat.v1.keras.Model • Class tf.compat.v1.keras.models.Model

和 q8_0 。欲了解更多信息，请访问 llama.cpp 。 1.10 vLLM 我们建议您在部署 Qwen 时尝试使用 vLLM 。它易于使用，且具有最先进的服务吞吐量、高效的注意力键值 内存管理（通过 PagedAttention 实现）、连续批处理输入请求、优化的 CUDA 内核等功能。要了解更多关于 vLLM 的信息，请参阅 论文 和 文档 。 1.10.1 安装 默认情况下，你可以通过 SkyPilot 1.11.1 SkyPilot 是什么 SkyPilot 是一个可以在任何云上运行 LLM、AI 应用以及批量任务的框架，旨在实现最大程度的成本节省、最 高的 GPU 可用性以及受管理的执行过程。其特性包括： • 通过跨区域和跨云充分利用多个资源池，以获得最佳的 GPU 可用性。 • 把费用降到最低——SkyPilot 在各区域和云平台中为您挑选最便宜的资源。无需任何托管解决方案的 Qwen 的服务规模非常容易，只需运行： sky serve up -n qwen ./serve-72b.yaml 这将启动服务，使用多个副本部署在最经济的可用位置和加速器上。SkyServe 将自动管理这些副本，监控其 健康状况，根据负载进行自动伸缩，并在必要时重启它们。 将返回一个 endpoint，所有发送至该 endpoint 的请求都将被路由至就绪状态的副本。 2. 运行如下命令检查服务的状态：