方案设计篇：如何设计可落地的AI解决方案 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 行业背景：AI新零售是什么? • 用户需求：线下门店业绩如何提升？ • 长期⽬目标：货架数字化与业务智能化 • 短期目标：自动化陈列审核和促销管理 • 方案设计：基于深度学习的检测/分类的AI流水线 • 方案交付：支持在线识别和API调用的 AI SaaS 目录 行业背景：AI新零售是什么 纯度 排面 SKU 种类 数量 位置 品类 占比 货架 设计 场景 层数 编号 销售执行三板斧：分销达标 销售执行三板斧：新品上架陈列稽查 销售执行三板斧：陈列激励 方案设计： 基于深度学习的检测/分类的AI流水线 货架商品检测 货架商品检测 Bottle（瓶装） Combination（组合装） 货架商品检测 Bottle（瓶装） Combination（组合装） Label1], [Bbox2, Score2, Label2], …] Image 方案交付： 支持在线识别和API调用的 AI SaaS AI SaaS Showcase AI SaaS Showcase AI SaaS Showcase AI SaaS Showcase AI 通用物品识别平台架构 品 识 AI 中 台 AI 算法库 AI 核心模块 AI 行业模型

构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they？ 内容审核团队 运营分析团队 AI？ Content 分类 检测 分割 跟踪 描述 搜索 分析 … 描述：事件1-XXXX 事件2-XXXX 人物出现:id1, id2 场景二 … 用户行 为 用户数 据 推理结 果 推理服务 数据抽样 和整理 样本 训练 模型 模型评估 AVA深度学习平台 Caching IO Distributed System Docker Orchestration Storage HDFS SQL NoSQL Caffe MXNet Tensorflow

（3）将模型拟合数据的优化算法； （4） 能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资源能够同时满足一些条件：（1）是最新的；（2）涵盖了现代机器学习的 所有领域，技术深度丰富；（3）在一本引人入胜的教科书中， 16 目录 1 引言 时至今日，人们常用的计算机程序几乎都是软件开发人员从零编写的。比如，现在开发人员要编写一个程序 来管理网上商城。经过思考，开发人员可能提出如下一个解决方案：首先，用户通过Web浏览器（或移动应 用程序）与应用程序进行交互；紧接着，应用程序与数据库引擎进行交互，以保存交易历史记录并跟踪每个 用户的动态；其中，这个应用程序的核心——“业务逻辑”，详细说明了应用程序在各种情况下进行的操作。 编写一个应用程序，接受一张图像，识别出该图像所包含的人，并在每个人周围绘制轮廓； • 编写一个应用程序，向用户推荐他们可能喜欢，但在自然浏览过程中不太可能遇到的产品。 在这些情况下，即使是顶级程序员也无法提出完美的解决方案，原因可能各不相同。有时任务可能遵循一种 随着时间推移而变化的模式，我们需要程序来自动调整。有时任务内的关系可能太复杂（比如像素和抽象类 别之间的关系），需要数千或数百万次的计算。即使人类的眼睛能毫不费力地完成这些难以提出完美解决方

前 言 这是一本面向人工智能，特别是深度学习初学者的书，本书旨在帮助更多的读者朋友了 解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 年，DeepMind 公司应用深度 神经网络到强化学习领域，提出了 DQN 算法，在 Atari 游戏平台中的 49 个游戏上取得了 与人类相当甚至超越人类的水平；在围棋领域，DeepMind 提出的 AlphaGo 和 AlphaGo Zero 智能程序相继打败人类顶级围棋专家李世石、柯洁等；在多智能体协作的 Dota2 游戏 平台，OpenAI 开发的 OpenAI Five 智能程序在受限游戏环境中打败了 TI8 到端地训 练，获得的模型性能好，适应性强；在 Atria 游戏平台上，DeepMind 设计的 DQN 算法模 型可以在相同的算法、模型结构和超参数的设定下，在 49 个游戏上获得人类相当的游戏水 平，呈现出一定程度的通用智能。图 1.14 是 DQN 算法的网络结构，它并不是针对于某个 游戏而设计的，而是可以控制 Atria 游戏平台上的 49 个游戏。 图 1.14 DQN 算法网络结构示意图

深度学习在图像审核的应用 腾讯优图实验室 谭国富 http://open.youtu.qq.com SACC2017 优图团队立足于社交网络大平台，借助社交业务积累 的海量人脸、图片、音乐等数据，专注在人脸、图像、 音乐、语音、机器学习等领域开展技术研究，并积极 推动研究成果在业务中落地产生价值。 关于优图实验室 人脸识别 图像识别 音频识别 SACC2017 目录 01 腾讯优图内容审核能力介绍 直播行业的快速兴起，使得视频中不良信 息含量更加迅猛增长，色情暴力等不雅视 频频繁流出，导致各网络直播平台面临危 机。 Ø 内容监管日趋严格， 2017年上半年，各 大直播行业协会相应成立，行业平台自我 规范的同时，网信办、文化部等国家部门 对于直播行业监管也越发严格，几乎所有 知名的直播平台均被有关部门点名查处过， 特别2017 年月中旬，黄鳝事件引爆网络， 让色情直播再度被推上舆论浪尖。 等，方便平台进行违规处理和风险管控。 业务痛点：面对越来越爆发的安全风险，解决办法门 槛高， 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容

阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 化困难 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 1.方案复杂 从FM到DeepFM rt 增 加了10倍怎么优化？ 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 从FM到DeepFM rt 增 加了10倍怎么优化？ 2.模型效果优 化困难 1.方案复杂 Data Model Compute Platform 要求:  准确: 低噪声  全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps, 低rt  支持超大模型

海纳百川 构建生态 TensorFlow 2 简化概念 1.0 2.0 TensorFlow 2 海纳百川 2.0 TensorFlow 2 构建生态 2.0 TensorFlow 生产级AI方案 TensorFlow 2 核心模块 TensorFlow 2 核心模块概览 tf.keras：分布式和高性能的 Keras • 构建和训练模型的高层次 API • API 完全兼容原生 Keras Full of abstract notions TensorFlow 2 工作流 Native Friendly to TensorFlow 生产级 AI 方案 TensorFlow 2 落地应用 TensorFlow 与移动互联网的结合 TensorFlow 与企业服务的结合 - 腾讯互娱 来源：《案例分享 | 腾讯互娱基于 CPU 环境的分布式 YOLOv3 实现》 魂斗罗游戏中识别角色 model TensorFlow Serving Keras 模型训练 • DataGenerator • 随机读取 … … 图片训练集 Ceph 数据并行实现 基于 Horoved CPU 平台的分布式模型训练及部署 TensorFlow 与企业服务的结合 - 贝壳找房 来源：《案例分享 | TensorFlow 在贝壳找房中的实践》 训练样本构建示意图 ������ �� TensorFlow

评测结果。 1.4. llama.cpp 9 Qwen 1.4.5 在 LM Studio 使用 GGUF 如果你仍然觉得使用 llama.cpp 有困难，我建议你尝试一下 LM Studio 这个平台，它允许你搜索和运行本地的 大规模语言模型。Qwen1.5 已经正式成为 LM Studio 的一部分。祝你使用愉快！ 1.5 Ollama Ollama 帮助您通过少量命令即可在本地运行 LLM。它适用于 现在，这个量化后的模型可以直接通过 llama.cpp 运行。 18 Chapter 1. 文档 Qwen 1.9.2 利用 AWQ scales 来量化你的模型 要提升量化模型的质量，一种可能的解决方案是应用 AWQ scales。具体操作步骤如下：首先，在使用 AutoAWQ 运行 model.quantize() 时，请务必记得添加 export_compatible=True 参数，如下所示： 5-7B-Chat-GPTQ-Int8 \ --quantization gptq 此外，vLLM 支持将 AWQ 或 GPTQ 模型与 KV 缓存量化相结合，即 FP8 E5M2 KV Cache 方案。例如： llm = LLM(model="Qwen/Qwen1.5-7B-Chat-GPTQ-Int8", quantization="gptq", kv_cache_dtype= �→"fp8_e5m2")

门店平均房源 2.1万 门店 10-25 经纪人熟悉房源 70% 跨店成交占比 1.87亿 房屋 3000万 月活跃用户 • 需要强大的房源质量盘点工具 • 找到好房难度大，成本高 挑战 200万 贝壳全部房源 2019 KE.COM ALL COPYRIGHTS RESERVED 7 目标&价值 平台  提升去化率 经纪人  提升效率和业绩 客户  降低看房成本 AI选房解决的是房地产领域的TopN排序问题  AI选房采用了DNN + RNN的混合网络结构 - DNN，静态数据；RNN，时序数据 - DNN+RNN的混合模型，提供了静态数据+时序数据的解决方案  模型输出值并不能直接适用于业务，需要做一些转换 - 为了便于经纪人理解和指导经纪人， 采用分数映射和雷达图两种方式 2019 KE.COM ALL COPYRIGHTS RESERVED

及的次数位居第二。Keras 还被大型科学组织的研究人员采用，特别是 CERN 和 NASA。 2.3 Keras 可以轻松将模型转化为产品 与任何其他深度学习框架相比，你的 Keras 模型可以轻松部署在更广泛的平台上： • 在 iOS 上，通过 Apple’s CoreML（苹果为 Keras 提供官方支持）。这里有一个教程。 • 在安卓上，通过 TensorFlow Android runtime，例如：Not TensorFlow 后端 • 微软的 CNTK 后端 • Theano 后端 亚马逊也正在为 Keras 开发 MXNet 后端。 如此一来，你的 Keras 模型可以在 CPU 之外的不同硬件平台上训练： • NVIDIA GPU。 • Google TPU，通过 TensorFlow 后端和 Google Cloud。 • OpenGL 支持的 GPU, 比如 AMD, 通过 PlaidML 权重的约束。 • shared_axes: 激活函数共享可学习参数的轴。例如，如果输入特征图来自输出形状为 (batch, height, width, channels) 的 2D 卷积层，而且你希望跨空间共享参数，以便 每个滤波器只有一组参数，可设置 shared_axes=[1, 2]。 参考文献 • Delving Deep into Rectifiers: Surpassing Human-Level