使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16:

—会话相关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.5 pywebio.platform —应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.6 pywebio.pin —持续性输入 . . 服务。非常适合快速构建对 UI 要求不高的应用。 使用手册 1 PyWebIO, 发布 1.5.2 2 使用手册 CHAPTER1 特性 • 使用同步而不是基于回调的方式获取输入，代码编写逻辑更自然 • 非声明式布局，布局方式简单高效 • 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Torn 从上面可以看出，PyWebIO 把交互分成了输入和输出两部分：输入函数为阻塞式调用，会在用户浏览器上显 示一个表单，在用户提交表单之前输入函数将不会返回；输出函数将内容实时输出至浏览器。这种交互方式 和控制台程序是一致的，因此 PyWebIO 应用非常适合使用控制台程序的编写逻辑来进行开发。 此外，PyWebIO 还支持事件回调：PyWebIO 允许你输出一些控件并绑定回调函数，当控件被点击时相应的回

—会话相关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.5 pywebio.platform —应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.6 pywebio.pin —持续性输入 . . 服务。非常适合快速构建对 UI 要求不高的应用。 使用手册 1 PyWebIO, 发布 1.6.0 2 使用手册 CHAPTER1 特性 • 使用同步而不是基于回调的方式获取输入，代码编写逻辑更自然 • 非声明式布局，布局方式简单高效 • 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Torn 从上面可以看出，PyWebIO 把交互分成了输入和输出两部分：输入函数为阻塞式调用，会在用户浏览器上显 示一个表单，在用户提交表单之前输入函数将不会返回；输出函数将内容实时输出至浏览器。这种交互方式 和控制台程序是一致的，因此 PyWebIO 应用非常适合使用控制台程序的编写逻辑来进行开发。 此外，PyWebIO 还支持事件回调：PyWebIO 允许你输出一些控件并绑定回调函数，当控件被点击时相应的回

—会话相关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.5 pywebio.platform —应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.6 pywebio.pin —持续性输入 . . 服务。非常适合快速构建对 UI 要求不高的应用。 使用手册 1 PyWebIO, 发布 1.5.0 2 使用手册 CHAPTER1 特性 • 使用同步而不是基于回调的方式获取输入，代码编写逻辑更自然 • 非声明式布局，布局方式简单高效 • 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Torn 从上面可以看出，PyWebIO 把交互分成了输入和输出两部分：输入函数为阻塞式调用，会在用户浏览器上显 示一个表单，在用户提交表单之前输入函数将不会返回；输出函数将内容实时输出至浏览器。这种交互方式 和控制台程序是一致的，因此 PyWebIO 应用非常适合使用控制台程序的编写逻辑来进行开发。 此外，PyWebIO 还支持事件回调：PyWebIO 允许你输出一些控件并绑定回调函数，当控件被点击时相应的回

—会话相关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.5 pywebio.platform —应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.6 pywebio.pin —持续性输入 . . 服务。非常适合快速构建对 UI 要求不高的应用。 使用手册 1 PyWebIO, 发布 1.6.3 2 使用手册 CHAPTER1 特性 • 使用同步而不是基于回调的方式获取输入，代码编写逻辑更自然 • 非声明式布局，布局方式简单高效 • 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Torn 从上面可以看出，PyWebIO 把交互分成了输入和输出两部分：输入函数为阻塞式调用，会在用户浏览器上显 示一个表单，在用户提交表单之前输入函数将不会返回；输出函数将内容实时输出至浏览器。这种交互方式 和控制台程序是一致的，因此 PyWebIO 应用非常适合使用控制台程序的编写逻辑来进行开发。 此外，PyWebIO 还支持事件回调：PyWebIO 允许你输出一些控件并绑定回调函数，当控件被点击时相应的回

—会话相关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.5 pywebio.platform —应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.6 pywebio.pin —持续性输入 . . 服务。非常适合快速构建对 UI 要求不高的应用。 使用手册 1 PyWebIO, 发布 1.7.1 2 使用手册 CHAPTER1 特性 • 使用同步而不是基于回调的方式获取输入，代码编写逻辑更自然 • 非声明式布局，布局方式简单高效 • 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Torn 从上面可以看出，PyWebIO 把交互分成了输入和输出两部分：输入函数为阻塞式调用，会在用户浏览器上显 示一个表单，在用户提交表单之前输入函数将不会返回；输出函数将内容实时输出至浏览器。这种交互方式 和控制台程序是一致的，因此 PyWebIO 应用非常适合使用控制台程序的编写逻辑来进行开发。 此外，PyWebIO 还支持事件回调：PyWebIO 允许你输出一些控件并绑定回调函数，当控件被点击时相应的回

—会话相关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.5 pywebio.platform —应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.6 pywebio.pin —持续性输入 . . 服务。非常适合快速构建对 UI 要求不高的应用。 使用手册 1 PyWebIO, 发布 1.5.1 2 使用手册 CHAPTER1 特性 • 使用同步而不是基于回调的方式获取输入，代码编写逻辑更自然 • 非声明式布局，布局方式简单高效 • 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Torn 从上面可以看出，PyWebIO 把交互分成了输入和输出两部分：输入函数为阻塞式调用，会在用户浏览器上显 示一个表单，在用户提交表单之前输入函数将不会返回；输出函数将内容实时输出至浏览器。这种交互方式 和控制台程序是一致的，因此 PyWebIO 应用非常适合使用控制台程序的编写逻辑来进行开发。 此外，PyWebIO 还支持事件回调：PyWebIO 允许你输出一些控件并绑定回调函数，当控件被点击时相应的回

—会话相关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.5 pywebio.platform —应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.6 pywebio.pin —持续性输入 . . 服务。非常适合快速构建对 UI 要求不高的应用。 使用手册 1 PyWebIO, 发布 1.7.0 2 使用手册 CHAPTER1 特性 • 使用同步而不是基于回调的方式获取输入，代码编写逻辑更自然 • 非声明式布局，布局方式简单高效 • 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Torn 从上面可以看出，PyWebIO 把交互分成了输入和输出两部分：输入函数为阻塞式调用，会在用户浏览器上显 示一个表单，在用户提交表单之前输入函数将不会返回；输出函数将内容实时输出至浏览器。这种交互方式 和控制台程序是一致的，因此 PyWebIO 应用非常适合使用控制台程序的编写逻辑来进行开发。 此外，PyWebIO 还支持事件回调：PyWebIO 允许你输出一些控件并绑定回调函数，当控件被点击时相应的回

—会话相关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.5 pywebio.platform —应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.6 pywebio.pin —持续性输入 . . 服务。非常适合快速构建对 UI 要求不高的应用。 使用手册 1 PyWebIO, 发布 1.6.1 2 使用手册 CHAPTER1 特性 • 使用同步而不是基于回调的方式获取输入，代码编写逻辑更自然 • 非声明式布局，布局方式简单高效 • 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Torn 从上面可以看出，PyWebIO 把交互分成了输入和输出两部分：输入函数为阻塞式调用，会在用户浏览器上显 示一个表单，在用户提交表单之前输入函数将不会返回；输出函数将内容实时输出至浏览器。这种交互方式 和控制台程序是一致的，因此 PyWebIO 应用非常适合使用控制台程序的编写逻辑来进行开发。 此外，PyWebIO 还支持事件回调：PyWebIO 允许你输出一些控件并绑定回调函数，当控件被点击时相应的回