TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 快速上手篇：动⼿训练模型和部署服务 • TensorFlow 2 开发环境搭建 • 使用 tf.keras.datasets 加载数据 • 使用 tf.data.Dataset 加载数据 • 使用 tf.keras.Model 管理模型 • Fashion MNIST 数据集介绍

作业的统⼀管理、状态跟踪� • 资源组（Schedule Pool）的划分� • 作业进程的资源隔离� Yarn能解决什么问题：� TensorFlow on Yarn设计 • 同时支持单机和分布式TensorFlow程序� • 支持GPU资源管理和调度� • 不再需要⼿动配置CluserSpec信息，仅需要设置work 和ps的数量� • 训练数据和训练模型基于HDFS统⼀存储� TensorFlow on Yarn技术细节揭秘 启动Tensorboard服务：� TensorFlow on Yarn技术细节揭秘 降低已有tensorflow程序迁移成本：� （1）单机模式 不需要修改代码 （2）分布式模式（最多修改三行代码） cluster = !.train.ClusterSpec(json.loads(os.environ[“TF_CLUSTER_DEF”]))

大型客户伙伴 共同发展 AI+金融 AI+智慧城市 AI+芯片 AI+无人驾驶 AI+智能手机 AI+医疗图像 AI+智慧城市：以智能安防场景为例 特征向量 AI+智慧城市 2015-2017 l单机、简易分布式人脸检测、跟踪、比对平台 l处理数十路到数百路监控摄像头数据 l千万级别深度学习特征检索 l行业试水 2018-2019 l云原生Cloud-Native超大规模视图存储、处理、检

及的次数位居第二。Keras 还被大型科学组织的研究人员采用，特别是 CERN 和 NASA。 2.3 Keras 可以轻松将模型转化为产品 与任何其他深度学习框架相比，你的 Keras 模型可以轻松部署在更广泛的平台上： • 在 iOS 上，通过 Apple’s CoreML（苹果为 Keras 提供官方支持）。这里有一个教程。 • 在安卓上，通过 TensorFlow Android runtime，例如：Not multi_gpu_model(model, gpus=None, cpu_merge=True, cpu_relocation=False) 将模型复制到不同的 GPU 上。 具体来说，该功能实现了单机多 GPU 数据并行性。它的工作原理如下： 工具 240 • 将模型的输入分成多个子批次。 • 在每个子批次上应用模型副本。每个模型副本都在专用 GPU 上执行。 • 将结果（在 CPU 上）连接成一个大批量。

3 Qwen 1.2 快速开始 本指南帮助您快速上手 Qwen1.5 的使用，并提供了如下示例：Hugging Face Transformers 以及 ModelScope 和 vLLM 在部署时的应用实例。 1.2.1 Hugging Face Transformers & ModelScope 要快速上手 Qwen1.5，我们建议您首先尝试使用 transformers 进行推理。请确保已安装了 model.generate( model_inputs.input_ids, max_new_tokens=512, streamer=streamer, ) 1.2.2 使用 vLLM 部署 要部署 Qwen1.5，我们建议您使用 vLLM。vLLM 是一个用于 LLM 推理和服务的快速且易于使用的框架。以 下，我们将展示如何使用 vLLM 构建一个与 OpenAI API 兼容的 API save_quantized(quant_path, safetensors=True, shard_size="4GB") tokenizer.save_pretrained(quant_path) 然后你就可以得到一个可以用于部署的 AWQ 量化模型。玩得开心！ 1.8 GPTQ GPTQ 是一种针对类 GPT 大型语言模型的量化方法，它基于近似二阶信息进行一次性权重量化。在本文 档中，我们将向您展示如何使用 transformers

实时训练 模型训练 模型部署 在线服务 离线验证 在线发布 在线验证 在线一致性/ 模型稳定性/… 一键打包 端口探测 蓝绿部署/灰度发布 AUC/准确率/ 召回率/… 流量切换 版本更新 全量发布 … verson1 verson2 … kubenetes/olsubmit 模型库 3 在线机器学习-模型服务部署 • 模型评估 • 模型上线部署前指标评估 • 周期使用验证样本进行点击率预估 周期使用验证样本进行点击率预估 • 待部署模型与线上模型进行指标对比，评估是否满足上线条件 • 一键部署 • 基于K8S的deployment模式，一键端口分配与模型服务部署 • 基于ZK的服务发现，一键进行流量灰度与发布 • 性能优化 • 通信优化：特征请求与模型计算单元化，在线样本格式压缩 • 计算优化：基于SSE／AVX 指令优化 3 在线机器学习-模型服务部署 • 模型更新频次效果对比

原型到产品开发的过程。其 SDK 主要基于 Python 语言，而 Python 语言作为流行的人工智能开发语言一直很受研究者与 开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、 云部署、针对深度学习特定领域有不同的丰富的扩展库。 1.1.1 Pytorch 历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度 学习）框架，Pytorch 最初的来源历史可以追溯到另外两个 、模型部署 的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 也在不断的演化改进。 在操作系统与 SDK 支持方面，Pytorch 从最初的单纯支持 Python 语言到如今支持 Python/C++/Java 主流编程语言， 目前已经支持 Linux、Windows、MacOS 等主流的操作系统、 同时全面支持 Android 与 iOS 移动端部署。 在版本发布管理方面，Pytorch 方式直接 安装。 1.1.2 Pytorch 的模块与功能 Pytorch 当前支持绝大数的深度学习常见的算子操作，基于相 关的功能模块可以快速整合数据、构建与设计模型、实现模型 训练、导出与部署等操作。这些功能的相关模块主要有如下： 1）torch.nn 包，里面主要包含构建卷积神经网络的各种算子 操作，主要包括卷积操作（Conv2d、Conv1d、Conv3d）激 活函数、序贯模型

搭建 AI SaaS 理论：10 分钟快速开发 AI SaaS • 搭建 AI SaaS 实战：10 分钟快速开发 AI SaaS • 交付 AI SaaS：10 分钟快速掌握容器部署 • 交付 AI SaaS：部署和测试 AI SaaS 目录 串联 AI 流程理论：商品检测与商品识别 检测模型 RetinaNet 前向转换和使用 加载检测推理模型 detector 查看分类器 classifier ai_pipeline.py 搭建 AI SaaS 实战：10 分钟快速开发 AI SaaS “Hello TensorFlow” Try it！ 交付 AI SaaS：10 分钟快速掌握容器部署 更新依赖 requirements.txt 为 AI SaaS 编写 Dockerfile 为 AI SaaS 构建 Docker 镜像（TF 容器外） $ docker build –t 容器外） $ docker build –t tf2-ai-saas -f ai_saas/Dockerfile . “Hello TensorFlow” Try it！ 交付 AI SaaS：部署和测试 AI SaaS 启动商品识别 AI SaaS 服务（GPU版本） $ docker run --runtime nvidia -it --rm --name tf2_ai_saas -p

生成验证码数据集 • 输入与输出数据处理 • 模型结构设计 • 模型损失函数设计 • 模型训练过程分析 • 模型部署与效果演示 第六部分 目录 准备模型开发环境 第三方依赖包 数据集生成 • Pillow • captcha 模型可视化 • pydot 模型服务部署 • flask $ pip install Pillow captcha pydot flask Pillow 优化器对比：鞍点 优化器对比： 验证码识别模型 优化器对比： 验证码识别模型 “Hello TensorFlow” Try it 模型部署与效果演示 数据-模型-服务流水线 数据集 生成 数据 处理 模型 训练 参数 调优 模型 部署 识别 服务 使用 Flask 快速搭建 验证码识别服务 使用 Flask 启动 验证码识别服务 $ export FLASK_ENV=development

多模态预训练 Vit based 下游任务:  视频分类  视频打标签  推荐模型特征 解决方案: 小样本学习 小样本结构化模型 在线预测服务（EAS） • 一键部署 • 多模型 • 蓝绿部署 • 弹性扩缩 • 推理优化 ML Frameworks ML Service (PaaS) AI Service (SaaS) 机器学习框架(PAI-TensorFl AI SaaS服务（OCR、语音识别、推荐系统、金融风控、疾病预测等） Infrastructure PAI平台（Platform of Artificial Intelligence） • 一键部署、弹性扩缩 • 多框架、多语言 • 推理优化Blade • 多维度监控+报警 • 自定义镜像 • 全托管+半托管 • 分布式训练优化 • 超大资源池 智能标注 可视化建模(Designer)