使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16:

个大小不一的金圆盘。僧侣们不断地移动圆盘，他们相信在最后一个圆盘被正确放置的那一刻，这个 世界就会结束。 然而，即使僧侣们每秒钟移动一次，总共需要大约 264 ≈ 1.84 × 1019 秒，合约 5850 亿年，远远超 过了现在对宇宙年龄的估计。所以，倘若这个传说是真的，我们应该不需要担心世界末日的到来。 12.5 小结 ‧ 分治是一种常见的算法设计策略，包括分（划分）和治（合并）两个阶段，通常基于递归实现。 request”按钮即可发起拉取请求。 第 16 章 附录 hello‑algo.com 352 3. Docker 部署 在 hello-algo 根目录下，执行以下 Docker 脚本，即可在 http://localhost:8000 访问本项目： docker-compose up -d 使用以下命令即可删除部署： docker-compose down 16.3 术语表 表 16‑1 列出了书中出现的重要术语，值得注意以下几点。

64 个大小不一的金圆盘。僧侣们不断地移动原盘，他们相信在最后一个圆盘被正确 放置的那一刻，这个世界就会结束。 然而，即使僧侣们每秒钟移动一次，总共需要大约 264 ≈ 1.84 × 1019 秒，合约 5850 亿年， 远远超过了现在对宇宙年龄的估计。所以，倘若这个传说是真的，我们应该不需要担心世界末 日的到来。 12.5 小结 ‧ 分治算法是一种常见的算法设计策略，包括分（划分）和治（合并）两个阶段，通常基于递归实现。 刷新仓库网页，点击“Create pull request”按钮即可发起拉取请求。 3. Docker 部署 在 hello-algo 根目录下，执行以下 Docker 脚本，即可在 http://localhost:8000 访问本项目。 docker-compose up -d 使用以下命令即可删除部署。 docker-compose down

64 个大小不一的金圆盘。僧侣们不断地移动圆盘，他们相信在最后一个圆盘被正确放置的 那一刻，这个世界就会结束。 然而，即使僧侣们每秒钟移动一次，总共需要大约 264 ≈ 1.84 × 1019 秒，合约 5850 亿年， 远远超过了现在对宇宙年龄的估计。所以，倘若这个传说是真的，我们应该不需要担心世界末 日的到来。 12.5 小结 ‧ 分治是一种常见的算法设计策略，包括分（划分）和治（合并）两个阶段，通常基于递归实现。 request”按钮即可发起拉取请求。 第 16 章 附录 hello‑algo.com 353 3. Docker 部署 在 hello-algo 根目录下，执行以下 Docker 脚本，即可在 http://localhost:8000 访问本项目： docker-compose up -d 使用以下命令即可删除部署： docker-compose down 16.3 术语表 表 16‑1 列出了书中出现

个大小不一的金圆盘。僧侣们不断地移动圆盘，他们相信在最后一个圆盘被正确放置的那一刻，这个 世界就会结束。 然而，即使僧侣们每秒钟移动一次，总共需要大约 264 ≈ 1.84 × 1019 秒，合约 5850 亿年，远远超 过了现在对宇宙年龄的估计。所以，倘若这个传说是真的，我们应该不需要担心世界末日的到来。 12.5 小结 ‧ 分治是一种常见的算法设计策略，包括分（划分）和治（合并）两个阶段，通常基于递归实现。 刷新仓库网页，点击“Create pull request”按钮即可发起拉取请求。 3. Docker 部署 在 hello-algo 根目录下，执行以下 Docker 脚本，即可在 http://localhost:8000 访问本项目： docker-compose up -d 使用以下命令即可删除部署： docker-compose down 16.3 术语表 表 16‑1 列出了书中出现的重要术语，值得注意以下几点。

第 3 章：模板 第 4 章：静态文件 第 5 章：数据库 第 6 章：模板优化 第 7 章：表单 第 8 章：用户认证 第 9 章：测试 第 10 章：组织你的代码 第 11 章：部署上线 小挑战 后记 2 Flask 入门教程 这是一本 Flask 入门教程，提供了入门 Flask 所需的最少信息，你可以跟随本书自 己动手开发一个简单的 Watchlist 程序。本书主页为 第 3 章：模板 第 4 章：静态文件 第 5 章：数据库 第 6 章：模板优化 第 7 章：表单 第 8 章：用户认证 第 9 章：测试 第 10 章：组织你的代码 第 11 章：部署上线 小挑战 后记 版权信息 书名：Flask 入门教程 副书名：使用 Python 和 Flask 开发你的第一个 Web 程序 作者：李辉 简介 3 版本：1.0 发布时间：2019 一致。在这个过程中，你也可以对它进行一些调整。比如，示例程序的界面语言使 用了英文，你可以修改为中文或是其他语言。对于页面布局和样式，你也可以自由 修改。 在本书的最后，你会把你自己编写的 Watchlist 部署到互联网上，让任何人都可以 访问。 讨论与反馈 如果你有任何疑问和想法，欢迎通过下面的方式提出： 在 HelloFlask 论坛发布帖子，并选择“Flask 入门教程”分类。 在专栏对应的连载文章下面撰写评论。

—会话相关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.5 pywebio.platform —应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.6 pywebio.pin —持续性输入 . . 在 Server 模式下，PyWebIO 会启动一个 Web 服务来持续性地提供服务。当用户访问服务地址时，PyWebIO 会开启一个新会话并运行 PyWebIO 应用。 将 PyWebIO 应用部署为 web 服务的最常用方式是使用start_server() from pywebio import * def main(): # PyWebIO application function 开启），你将会得到一个用于访问当前应用的临时的公网访问地址，其他任何人 都可以使用此地址访问你的应用。远程接入可以很方便地将应用临时分享给其他人。 将 PyWebIO 应用部署为 web 服务的另一种方式是使用path_deploy() 。path_deploy() 可以从一个目 录中部署 PyWebIO 应用，只需要在该目录下的 python 文件中定义 PyWebIO 应用，就可以通过 URL 中的路 径来访问这些应用了。

—会话相关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.5 pywebio.platform —应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.6 pywebio.pin —持续性输入 . . 在 Server 模式下，PyWebIO 会启动一个 Web 服务来持续性地提供服务。当用户访问服务地址时，PyWebIO 会开启一个新会话并运行 PyWebIO 应用。 将 PyWebIO 应用部署为 web 服务的最常用方式是使用start_server() from pywebio import * def main(): # PyWebIO application function 开启），你将会得到一个用于访问当前应用的临时的公网访问地址，其他任何人 都可以使用此地址访问你的应用。远程接入可以很方便地将应用临时分享给其他人。 将 PyWebIO 应用部署为 web 服务的另一种方式是使用path_deploy() 。path_deploy() 可以从一个目 录中部署 PyWebIO 应用，只需要在该目录下的 python 文件中定义 PyWebIO 应用，就可以通过 URL 中的路 径来访问这些应用了。

—会话相关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.5 pywebio.platform —应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.6 pywebio.pin —持续性输入 . . 在 Server 模式下，PyWebIO 会启动一个 Web 服务来持续性地提供服务。当用户访问服务地址时，PyWebIO 会开启一个新会话并运行 PyWebIO 应用。 将 PyWebIO 应用部署为 web 服务的最常用方式是使用start_server() from pywebio import * def main(): # PyWebIO application function 开启），你将会得到一个用于访问当前应用的临时的公网访问地址，其他任何人 都可以使用此地址访问你的应用。远程接入可以很方便地将应用临时分享给其他人。 将 PyWebIO 应用部署为 web 服务的另一种方式是使用path_deploy() 。path_deploy() 可以从一个目 录中部署 PyWebIO 应用，只需要在该目录下的 python 文件中定义 PyWebIO 应用，就可以通过 URL 中的路 径来访问这些应用了。