TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 快速上手篇：动⼿训练模型和部署服务 • TensorFlow 2 开发环境搭建 • 使用 tf.keras.datasets 加载数据 • 使用 tf.data.Dataset 加载数据 • 使用 tf.keras.Model 管理模型 • Fashion MNIST 数据集介绍

深度化：深度学习 • 平台化：机器学习平台 2 推荐 • 实时化 • 特征实时化：更及时反馈用户行为，更细粒度刻画用户 • 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 模型推理 预测服务 实时特征 实时数据 3 在线机器学习 实时样本 实时模型训练 实时更新参数 Task 训练预处理 Node 实时样本拼接 Node 在线模型训练 Node 离线样本拼接 Node 曝光，互动，点击，真实阅读等多种数据流接入并多流拼接 • 如何解决日志延时问题 • 延迟等待机制，先到先走 • 定时轮寻，最长N分钟等待 • Kafka 堆积监控，实时报警 • 如何解决内存问题 • 调整内存参数 • 关闭多余的监控点 • 如何异常处理 • 自动化监控与修复系统 • Checkpoint 节点异常修复 3 在线机器学习-实时样本生成 • 在线机器学习模型训练：Flink/Blink+WeiPS Serving PS Traing PS Traing Model System Predict Score Sample Data worker worker worker 3 在线机器学习-参数服务器 serving serving serving server server server server server worker worker worker PSscheduler

jd.com/12954866.html ❑ 联系邮箱(一般问题建议 Github issues 交流)：liangqu.long AT gmail.com ❑ 配套视频课程(收费，提供答疑等全服务，比较适合初学者)： 深度学习与 TensorFlow 入门实战 深度学习与 PyTorch 入门实战 https://study.163.com/course/courseMai n.htm 亿个，甚至发布之初一度以技术安全考 虑为由拒绝开源 GPT-2 模型。 聊天机器人(Chatbot) 聊天机器人也是自然语言处理的一项主流任务，机器自动学习与 人类对话，对于人类的简单诉求提供满意的自动回复，提高客户的服务效率和服务质量 等。常应用在咨询系统、娱乐系统、智能家居等中。 预览版202112 第 1 章 人工智能绪论 12 1.4.3 强化学习 虚拟游戏 相对于真实环境，虚拟游戏 b, w = step_gradient(b, w, np.array(points), lr) loss = mse(b, w, points) # 计算当前的均方差，用于监控训练进度 if step%50 == 0: # 打印误差和实时的 w,b 值 print(f"iteration:{step}, loss:{loss}

推荐引擎 PAI-REC 推荐引擎 多路召回 曝光/状态过滤 粗排/精排 策略[类目打散、流量控制、…] 实时采集后端日志 PAI-REC 配置中心 AB实验 实验工具 拉取配置 监控报警 Prometheus Grafana 读取metric 消息队列(datahub/kafka) PAI-REC平台 自动化降级 负载均衡 灰度发布 超时控制 平台支持 日志SLS er decoder 解决方案: 多模态预训练 Vit based 下游任务:  视频分类  视频打标签  推荐模型特征 解决方案: 小样本学习 小样本结构化模型 在线预测服务（EAS） • 一键部署 • 多模型 • 蓝绿部署 • 弹性扩缩 • 推理优化 ML Frameworks ML Service (PaaS) AI Service (SaaS) U） 阿里云容器服务(ACK) • 200+组件 • 数十个场景化模版 • 所见即所得 交互式建模（DSW） • JupyterLab、WebIDE • 多框架兼容 • 可视化+tensorboard • 图像、视频、文本、 语音标注 • 多场景模板：物体检 测、语音识别 • 数据集管理 • 主动学习 • 智能标注 itags AI SaaS服务（OCR、语音识别、推荐系统、金融风控、疾病预测等）

当前配送的繁忙程度 • 天气情况.. 1 2 3 提纲 4 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 提纲 5 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 外卖订单智能调度系统发展历程 6 人工派单模式 • 调度员根据订单地址和骑士 位置来进行订单分配 1 2 3 4 5 提纲 16 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 调度系统 智能调度系统的分析监控 17 • 真实再现调度场景细节 • 回溯定位异常调度原因，诊断调试算法 • 实时获取调度监控指标 • 及时预警引入人工干预 • 精准模拟实际订单分布情况 • 有效评估调度算法的改进效果 • 合理划分物流范围 节省调度运力，提升商户配送能力 • 云端虚拟队列，实现调度指派 • 提升物流效率 仿真系统 实时监控 时光机 寻宝系统 1 2 3 4 5 时光机系统—历史数据可视化分析 真实再现调度场景细节 回溯定位异常调度原因，诊断调试算法 18 1 实时监控系统—当前状况实时监控 19 实时获取调度监控指标 及时预警引入人工干预 2 仿真系统—未来效果仿真预测 订单 在岗骑 士数量

操作系统 应用场景 add conv w x b 公共计算库 X86 优化 Android 优化 iOS 优化 GPU 优化 内存池 硬件设备 网络模型 • 越来越多的应用场景，云服务，Android，iOS, 闸机嵌入式 • 越来越复杂的限制条件， 内存，功耗，延迟 • 越来越多的数据量，图像从百万到千万，数据从图像到视频 • 越来越复杂的网络结构，从Resnet，Res Job 2 WK Job 2 WK Job 3 监控/启停 任务调度/资源管理 监控上报 cephfs存储集 群 本地文件系统 数据 模型/日志 client 管理数据 提取模型、 查看日志 提交/管理任务 用户 docker.oa.co m 自动拉取镜像 Redis 冷数据 热任务/监控数据/集群信息 • 任务监控与自动重启 • 分布式多机训练，不可避免遇到由于硬件/网 分布式多机训练，不可避免遇到由于硬件/网 络波动引起的异常 • 监控任务运行状况，当任务发生异常时，选 择不同的重启策略 • 集群管理与监控 • 节点心跳异常告警 • 运维工具化，快速屏蔽/启动异常机器 • 灵活的资源分配 • 支持以 GPU 或节点为粒度进行资源分配 • 用户配置任务所需最小资源 • 自动扩缩容，最大化资源使用率 • 支持不同计算框架 • 调度与任务松耦合，用户可以灵活定义任务 • 支持配置

AI+智慧城市 2015-2017 l单机、简易分布式人脸检测、跟踪、比对平台 l处理数十路到数百路监控摄像头数据 l千万级别深度学习特征检索 l行业试水 2018-2019 l云原生Cloud-Native超大规模视图存储、处理、检 索 l处理数万到数十万路，城市范围级别监控、门禁摄 像头数据 l10-100 Billion级别深度学习特征检索 - PB以上级别数据库存储 - 6000万张人脸训练 2016 2017 What’s Next? 2018 自我演化的异构人工智能云 云原生的深度学习数据闭环 自进化深度学习系统 高度定制的 图片、特征仓库 深度学习 应用服务 场景相关业务 数据清洗-查询 深度学习训练平台 模型测试与验证 深度学习算法在产品应用中的挑战 • 深度学习算法也需要“深度”学习业务需求 - 处理特殊输入，如模糊、黑白照片 - 适配具有不同特征的数据源

Qwen1.5，我们建议您使用 vLLM。vLLM 是一个用于 LLM 推理和服务的快速且易于使用的框架。以 下，我们将展示如何使用 vLLM 构建一个与 OpenAI API 兼容的 API 服务。 首先，确保你已经安装 vLLM>=0.3.0 ： pip install vllm 运行以下代码以构建 vllm 服务。此处我们以 Qwen1.5-7B-Chat 为例： python -m vllm ├── merges.txt │ │ ├── tokenizer_config.json │ │ └── vocab.json 随后你需要运行 python server.py 来启动你的网页服务。请点击进入 `http://localhost:7860/?__theme=dark` 然后享受使用 Qwen 的 Web UI 吧！ 1.6.2 下一步 TGW 中包含了许多更多用途，您 、q5_0 、q5_k_m 、q6_k 和 q8_0 。欲了解更多信息，请访问 llama.cpp 。 1.10 vLLM 我们建议您在部署 Qwen 时尝试使用 vLLM 。它易于使用，且具有最先进的服务吞吐量、高效的注意力键值 内存管理（通过 PagedAttention 实现）、连续批处理输入请求、优化的 CUDA 内核等功能。要了解更多关于 vLLM 的信息，请参阅 论文 和 文档 。 1.10

训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 537 12.7 参数服务器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540 12.7 . . . . . . . . . . . . . . . . . . 758 16.4 选择服务器和GPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 758 16.4.1 选择服务器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767 Bibliography 769 xv xvi 前言 几年前，在大公司和初创公司中，并没有大量的深度学习科学家开发智能产品和服务。我们中年轻人（作者） 进入这个领域时，机器学习并没有在报纸上获得头条新闻。我们的父母根本不知道什么是机器学习，更不用 说为什么我们可能更喜欢机器学习，而不是从事医学或法律职业。机器学习是一门具有前瞻性的学科，在现

出农业机械穿过作物的最佳路径。另 外也可用来识别杂草和作物，有效减 少除草剂的使用量。 制造业 计算机视觉也可以帮助制造商更安 全、更智能、更有效地运行，比如预 测性维护设备故障，对包装和产品质 量进行监控，并通过计算机视觉减少 不合格产品。 交通 自动驾驶汽车需要计算机视觉。特斯拉 (Tesla)、宝马(BMW)、沃尔沃(Volvo)和奥迪 (Audi)等汽车制造商Y已经通过摄像头、激光