使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16: ResNet-50-v1.5 3.3X speedup SSD-RN50-FPN-640 2.5X speedup FP16浮点数（E5M10）的表示范围 FP16模型的训练方法 Int8模型的推断过程 2 TensorFlow的FP16模型 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 TensorCores适用条件 1. 卷积：K（输入通道），C（输出通道） 2 2=1 TF_ENABLE_CUDNN_TENSOR_OP_MATH_FP32=1 TF_ENABLE_CUDNN_RNN_TENSOR_OP_MATH_FP32=1 TensorFlow手动转换模型 import tensorflow as tf import numpy as numpy input = tf.placeholder(dtype=tf.float32, shape=[None

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |######### | section1 收集语料 前处理 section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 NLP基础 22% |################## | section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 有时候会把语义分析的结果做成 feature，放进机器学习模型里。 EDA NLP基础 25% |###################

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |####### | section1 收集语料 前处理 分词 收集语料 前处理 分词 向量化 （Vectorization） 机器学习模型 各种OUTPUT 语义解析 NLP基础 19% |################ | section1 收集语料 前处理 分词 向量化 机器学习模型 语义解析 有时候会把语义分析的结果feature， 放进机器学习模型里。 各种OUTPUT EDA NLP基础 23% |###################

请自行测试并调用 my_abs 看看返回结果是否正确。 请注意，函数体内部的语句在执行时，一旦执行到 return 时，函数就执 行完毕，并将结果返回。因此，函数内部通过条件判断和循环可以实现 非常复杂的逻辑。 如果没有 return 语句，函数执行完毕后也会返回结果，只是结果为 None。 return None 可以简写为 return。 在 Python 交互环境中定义函数时，注意 Python 84/531 定义函数的时候，我们把参数的名字和位置确定下来，函数的接口定义 就完成了。对于函数的调用者来说，只需要知道如何传递正确的参数， 以及函数将返回什么样的值就够了，函数内部的复杂逻辑被封装起来， 调用者无需了解。 Python 的函数定义非常简单，但灵活度却非常大。除了正常定义的必选 参数外，还可以使用默认参数、可变参数和关键字参数，使得函数定义 出来的接口，不但能处理复杂的参数，还可以简化调用者的代码。 无论它的参数是如何定义的。 小结 Python 的函数具有非常灵活的参数形态，既可以实现简单的调用，又可 以传入非常复杂的参数。 默认参数一定要用不可变对象，如果是可变对象，程序运行时会有逻辑 错误！ 要注意定义可变参数和关键字参数的语法： *args 是可变参数，args 接收的是一个 tuple； **kw 是关键字参数，kw 接收的是一个 dict。 以及调用函数时如何传入可变参数和关键字参数的语法：

一位少女翩翩起舞，与数据交织在一起，裙摆上飘扬着算法的旋律。 她邀请你共舞，请紧跟她的步伐，踏入充满逻辑与美感的算法世界。 第 1 章 初识算法 hello‑algo.com 11 1.1 算法无处不在 当我们听到“算法”这个词时，很自然地会想到数学。然而实际上，许多算法并不涉及复杂数学，而是更多 地依赖基本逻辑，这些逻辑在我们的日常生活中处处可见。 在正式探讨算法之前，有一个有趣的事实值得分享：你已经 数据操作尽可能快速，涵盖数据访问、添加、删除、更新等。 ‧ 提供简洁的数据表示和逻辑信息，以便算法高效运行。 数据结构设计是一个充满权衡的过程。如果想在某方面取得提升，往往需要在另一方面作出妥协。下面举两 个例子。 ‧ 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度。 ‧ 图相较于链表，提供了更丰富的逻辑信息，但需要占用更大的内存空间。 1.2.3 数据结构与算法的关系 如图 我们按照说明书一步步操作，就能组装出精美的积木模型。 第 1 章 初识算法 hello‑algo.com 15 图 1‑5 拼装积木 两者的详细对应关系如表 1‑1 所示。 表 1‑1 将数据结构与算法类比为拼装积木 数据结构与算法 拼装积木 输入数据 未拼装的积木 数据结构 积木组织形式，包括形状、大小、连接方式等 算法 把积木拼成目标形态的一系列操作步骤 输出数据 积木模型 值得说明的是，数据结

一位少女翩翩起舞，与数据交织在一起，裙摆上飘扬着算法的旋律。 她邀请你共舞，请紧跟她的步伐，踏入充满逻辑与美感的算法世界。 第 1 章 初识算法 hello‑algo.com 11 1.1 算法无处不在 当我们听到“算法”这个词时，很自然地会想到数学。然而实际上，许多算法并不涉及复杂数学，而是更多 地依赖基本逻辑，这些逻辑在我们的日常生活中处处可见。 在正式探讨算法之前，有一个有趣的事实值得分享：你已经 数据操作尽可能快速，涵盖数据访问、添加、删除、更新等。 ‧ 提供简洁的数据表示和逻辑信息，以便算法高效运行。 数据结构设计是一个充满权衡的过程。如果想在某方面取得提升，往往需要在另一方面作出妥协。下面举两 个例子。 ‧ 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度。 ‧ 图相较于链表，提供了更丰富的逻辑信息，但需要占用更大的内存空间。 1.2.3 数据结构与算法的关系 如图 我们按照说明书一步步操作，就能组装出精美的积木模型。 第 1 章 初识算法 hello‑algo.com 15 图 1‑5 拼装积木 两者的详细对应关系如表 1‑1 所示。 表 1‑1 将数据结构与算法类比为拼装积木 数据结构与算法 拼装积木 输入数据 未拼装的积木 数据结构 积木组织形式，包括形状、大小、连接方式等 算法 把积木拼成目标形态的一系列操作步骤 输出数据 积木模型 值得说明的是，数据结

一位少女翩翩起舞，与数据交织在一起，裙摆上飘扬着算法的旋律。 她邀请你共舞，请紧跟她的步伐，踏入充满逻辑与美感的算法世界。 第 1 章 初识算法 hello‑algo.com 10 1.1 算法无处不在 当我们听到“算法”这个词时，很自然地会想到数学。然而实际上，许多算法并不涉及复杂数学，而是更多 地依赖于基本逻辑，这些逻辑在我们的日常生活中处处可见。 在正式探讨算法之前，有一个有趣的事实值得分享：你已经 数据操作尽可能快速，涵盖数据访问、添加、删除、更新等。 ‧ 提供简洁的数据表示和逻辑信息，以便使得算法高效运行。 数据结构设计是一个充满权衡的过程。如果想要在某方面取得提升，往往需要在另一方面作出妥协。下面举 两个例子。 ‧ 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度。 ‧ 图相较于链表，提供了更丰富的逻辑信息，但需要占用更大的内存空间。 1.2.3 数据结构与算法的关系 我们按照说明书一步步操作，就能组装出精美的积木模型。 第 1 章 初识算法 hello‑algo.com 14 图 1‑5 拼装积木 两者的详细对应关系如表 1‑1 所示。 表 1‑1 将数据结构与算法类比为积木 数据结构与算法 拼装积木 输入数据 未拼装的积木 数据结构 积木组织形式，包括形状、大小、连接方式等 算法 把积木拼成目标形态的一系列操作步骤 输出数据 积木模型 值得说明的是，数据结构

高的应用。 特性 使用同步而不是基于回调的方式获取输入，代码编写逻辑更自然 非声明式布局，布局方式简单高效 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为Web服务 支持整合到现有的Web服务，目前支持与Flask、Django、Tornado、aiohttp 框架集成 同时支持基于线程的执行模型和基于协程的执行模型 支持结合第三方库实现数据可视化 Installation 稳定版: 如果你接触过Web开发，你可能对接下来描述的PyWebIO的用法感到不太习 惯，不同于传统Web开发的后端实现接口、前端进行展示交互的模式，在 PyWebIO中，所有的逻辑都通过编写Python代码实现。 你可以按照编写控制台程序的逻辑编写PyWebIO应用，只不过这里的终端变成 了浏览器。通过PyWebIO提供的命令式API， 你可以简单地调用 put_text 、 put_image 、 put_table 式调用，会在用户浏览器上显示一个表单，在用户提交表单之前输入函数将不 会返回；输出函数将内容实时输出至浏览器。这种交互方式和控制台程序是一 致的，因此PyWebIO应用非常适合使用控制台程序的编写逻辑来进行开发。 此外，PyWebIO还支持事件回调：PyWebIO允许你输出一些控件并绑定回调函 数，当控件被点击时相应的回调函数便会被执行。 下面是一个例子: put_table() 的调用不

高的应用。 特性 使用同步而不是基于回调的方式获取输入，代码编写逻辑更自然 非声明式布局，布局方式简单高效 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为Web服务 支持整合到现有的Web服务，目前支持与Flask、Django、Tornado、aiohttp 框架集成 同时支持基于线程的执行模型和基于协程的执行模型 支持结合第三方库实现数据可视化 Installation 稳定版: 如果你接触过Web开发，你可能对接下来描述的PyWebIO的用法感到不太习 惯，不同于传统Web开发的后端实现接口、前端进行展示交互的模式，在 PyWebIO中，所有的逻辑都通过编写Python代码实现。 你可以按照编写控制台程序的逻辑编写PyWebIO应用，只不过这里的终端变成 了浏览器。通过PyWebIO提供的命令式API， 你可以简单地调用 put_text 、 put_image 、 put_table 式调用，会在用户浏览器上显示一个表单，在用户提交表单之前输入函数将不 会返回；输出函数将内容实时输出至浏览器。这种交互方式和控制台程序是一 致的，因此PyWebIO应用非常适合使用控制台程序的编写逻辑来进行开发。 此外，PyWebIO还支持事件回调：PyWebIO允许你输出一些控件，当控件被点 击时执行提供的回调函数。 下面是一个例子: put_table() 的调用不会阻塞。当用户点击了某行中的按钮时，PyWebIO会自

高的应用。 特性 使用同步而不是基于回调的方式获取输入，代码编写逻辑更自然 非声明式布局，布局方式简单高效 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为Web服务 支持整合到现有的Web服务，目前支持与Flask、Django、Tornado、aiohttp 框架集成 同时支持基于线程的执行模型和基于协程的执行模型 支持结合第三方库实现数据可视化 Install 稳定版安装: pip3 如果你接触过Web开发，你可能对接下来描述的PyWebIO的用法感到不太习 惯，不同于传统Web开发的后端实现接口、前端进行展示交互的模式，在 PyWebIO中，所有的逻辑都通过编写Python代码实现。 你可以按照编写控制台程序的逻辑编写PyWebIO应用，只不过这里的终端变成 了浏览器。通过PyWebIO提供的命令式API， 你可以简单地调用 put_text 、 put_image 、 put_table 式调用，会在用户浏览器上显示一个表单，在用户提交表单之前输入函数将不 会返回；输出函数将内容实时输出至浏览器。这种交互方式和控制台程序是一 致的，因此PyWebIO应用非常适合使用控制台程序的编写逻辑来进行开发。 此外，PyWebIO还支持事件回调：PyWebIO允许你输出一些控件，当控件被点 击时执行提供的回调函数。 下面是一个例子: popup('Popup title', [