使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16: 6X speedup ResNet-50-v1.5 3.3X speedup SSD-RN50-FPN-640 2.5X speedup FP16浮点数（E5M10）的表示范围 FP16模型的训练方法 Int8模型的推断过程 2 TensorFlow的FP16模型 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 TensorCores适用条件 1. 卷积：K（输入通道），C（输出通道） com/tensorflow/tensorflow/blob/master/tensorflow/core/grappler/ optimizers/auto_mixed_precision_lists.h FP16训练模型精度 https://arxiv.org/pdf/1710.03740.pdf 3 TensorRT的FP16/Int8模型 TensorFlow中使用TensorRT 在TensorRT中使用FP16/Int8

同一知识点下的问题语义相同，是很好的 训练数据 智能问答应用场景 • 辅助人工 Ø 客服 Ø 营销 Ø 特定领域、重复性的对话 • GUI补充 Ø 语音助手 Ø 电话助手 • Voice-only Apps Ø 智能音箱 Ø 车载设备 Ø 可穿戴设备 2 QA快速实践 任务拆解、各个击破 任务拆解 • 业务 Ø 解决什么问题？ • 数据 Ø 标注数据 Ø 训练数据 Ø 测试数据 Ø 评估数据 相似意图区分能力弱 Ø 泛化能力差 各个击破－第二次建模 • Baseline：检索＋匹配 • 排序（Ranking） Ø 用知识库内的相似问，构造句对训练数 据，训练有监督的模型 Ø 基于通用领域的问答对，构造句对训练 数据，训练通用领域内有监督的模型 Ø 模型融合 Ø 判断（query，question）相关性打分， 返回top n作为最终命中知识点，给出对 应知识点的答案回复用户 Ø Python及第三方扩展包 各个击破－模型 各个击破－数据 • 开源数据抓取&清洗 • 依赖工具 Ø requests抓取数据 Ø retry重试 • 模型训练&特征生成 • 依赖工具 • gensim：训练word2vec • jieba：切词，统计生成PMI/TM词典 • difflib：调用SequenceMatcher生成edit-distance • fastte

Lecun, Geoff Hinton, Yoshua Bengio, Andrew Ng 机器学习 机器学习是一门人工智能的科学。机器学习算法是一类从 数据中自动分析获得规律，并利用规律对未知数据进行预 测的算法 机器学习 计算机能够分辨出来他／她是谁吗？ 机器学习 机器学习 基于过去的事实和数据，用来发现趋势和模式 机器学习模型提供了对于结果的洞察力，机器学习帮助 揭示未来的一个结果的概 面对大量的数据集的可伸缩性的问题 机器学习 － 总结 由已知答案的数据开始 明确目标 – 从数据中希望可以预测什么 选择可以被用来预测目标的模式所需要的变量／特性 使用已知目标答案的数据训练机器学习模型 对于未知答案的数据，使用训练过的模型预测目标 评估模型的准确性 提高模型精度 什么是深度学习？ "深度学习是机器学习的一个分支，是一组在多个层次上 学习的算法，分别对应不同级别的抽象" 深度学习 深度学习 － 神经网络 是一种模仿生物神经网络(例如大脑)的结构和功能的计 算模型 是一种非线性统计性数据建模工具，对输入和输出间复 杂的关系进行建模 一组简单可以训练的数学单元集合，共同学习复杂的功 能 深度学习 － 训练 深度学习 － 部署 深度学习 － 数据表现 表现层次 图片– 像素、主题、部分、轮廓、边缘等等 视频– 图像帧、每帧的像素、每一帧的deltas 值等等 文本– 字符、词、从句、句子等等

以BERT服务为例 • BERT：
 TODO： ⼀一句句话解释
 • 横扫多项NLP任务的SOTA榜 • 惊⼈人的3亿参数 以BERT服务为例 • Self Attention机制 • 预训练 + Finetune 以BERT服务为例 • 完型填空任务：
 Happy birthday to [MASK] . • Web API:
 $ curl -X POST http:/

py” • docker exec -ti torch_bm bash -c "cd /tmp/resnet50 && python3 performance.py --bf16" 首次执行会下载预训练模型 输出执行耗时 PyTorch BF16 加速演示 • 测试 Mask R-CNN 推理性能 • docker exec -ti torch_bm bash -c "cd /tmp/maskrcnn

以深度学习的第一个案例MNIST为例 学习Tensorflow框架的使用及代码编写风格 理解TF Mac CPU运行结果 GPU运行结果 TPU运行结果 TPU的创建和使用 TPU训练MNIST的改动 TPU训练MNIST的改动 https://www.tensorflow.org/guide/distribute_strateg y resolver = tf.distribute.cluster_resolver distribute.experimental.TPUStrategy(resolver) 2 初步修改 针对第一个python代码执行、思考和改进 如何能做的更好？ TPU Pod BERT 训练时间短 https://github.com/google-research/bert Data 数据不均 • Why are my tip predictions bad in the Lite TensorFlow JS 5. Pipeline Kubeflow Runtime Airflow Runtime 6. 协作 Takeaways • 在不同设备上执行训练 • 基于AI产品的全流程 • 深度学习实践： • 质量 • 效率 • 专注 • 稳定 • 参与和行动！！！ THANK YOU 希望对大家有所帮助和启发

基于Python的深度学习框 架设计与实现 主讲人： 刘凡平 介绍大纲 一、背景 二、原理：深度学习框架的一般性结构 三、设计 四、应用案例 五、思考 一、背景 深度学习框架是包含深度学习模型设计、训练和验证的一套标准接口、特性库和工具包，集成深度学习 的算法封装、数据调用以及计算资源的使用，同时面向开发者提供了开发界面和高效的执行平台，是算法工 程师的必备工具之一。 美国互联网对AI底层技 return out 线性回归后的结果 四、应用：简单分类问题的实现（一） 1、定义问题 100个二维数据点，一共分为3个类别，分别识别出他们的分类信息。 2、示例图 左侧为测试数据的样例（训练数据的分布与此类 似），目前已经通过三种数据颜色和标识标注了他们所 属的类别，要求通过模型分辨出划分出他们的类别。 四、应用：简单分类问题的实现（二） 模型结构： class SampleModel(nn dot(self.layer_2).logsoftmax() xs layer_1 dot sigmoid layer_2 dot �ogsoftmax ys 四、应用：简单分类问题的实现（四） 训练10个epoch后的效果对比图： 预测后分类区域图 测试数据分布 五、思考 n 为什么要设计一个深度学习框架？ 切勿以造轮子的初衷去设计深度学习框架，一切均需围绕业务进行。脱离业务的技术体系价值不大。

1、语料自动生成：主要通过依存句法分析，结合启发式的规则自动生成语料 E.g., 启发式的规则包括：关系指代词是两个实体之间依存路径上的动词或动词短语。 2、分类器的训练：利用朴素贝叶斯分类器进行训练，其使用的特征包括：关系指示词的词性、实体的类 型等。 3、关系三元组的抽取：利用训练好的分类器对Web文本上的三元组进行抽取。 4、关系三元组可信度计算：将存储起来的相似三元组进行合并，然后根据网络数据的冗余性，计算合并

4. 上传训练数据 5. 准备 training script 6. 把 training 任务提交到 Azure Machine Learning 1. 安装 Azure Machine Learning SDK 2. 连接到 Azure Machine Learning 的 Workspace 3. 创建远程运算资源 —— NC6 GPU machines 4. 上传训练数据 5

使用RandomForest分类器(RF)做两种分类 1. 预测条文的种类的multiclass分类 2. 预测条文甲方有利/平等/乙方有利的multiclass分类 • 监督学习 …… Test data 训练好的条文种类分类模型 训练好的有利方分类模型 OUTPUT是 ① 条文的种类 ② 甲方有利、平等、乙方 有利其中一种。 4 总结 94% |###############################