达观数据 陈运文 文本智能处理的深度学习技术 达观数据CEO 陈运文 博士 • 中 国 计 算 机 学 会 高 级 会 员 ， A C M 和 I E E E 学 会 会 员 ， 复 旦 大 学 计 算 机 博 士 和 杰 出 毕 业 生 • 原 腾 讯 文 学 高 级 总 监 、 盛 大 文 学 首 席 数 据 官 、 百 度 核 心 技 术 工 程 师 • 三 十 项 国 家 技 术 术 发 明 专 利 ， 十 五 篇 国 际 学 术 论 文 ， 译 著 《 智 能 W e b 算 法 》 专 注 于 企 业 文 本 挖 掘 技 术 和 相 关 应 用 系 统 的 服 务 个人简介——达观数据CEO 陈运文 达观数据：全球领先的文本智能处理专家 l 为企业提供文本挖掘、知识图谱、搜索引擎和个性化推荐等文本智能处理技术服 务，是国内首家将自动语义分析技术应用于企业数据化运营的人工智能公司 达观数据文本挖掘的实践经验 文 档 智 能 抽 取 功 能 l 财务报表账目信息抽取 l 商业票据关键信息识别 l 应标书信息自动导出 l 基金合同差异核对 l 投资报告项目信息自动提取 l 法律文书风控要素审核 l 新闻稿文字校对 l 政府补贴项目申请表内容核准 l …… l 更多场景可定制开发 文本挖掘的一些常见应用需求 风 险 智 能 审 核 功 能 达 观 智 能 文 档 审 阅

预览版202112 预览版202112 前 言 这是一本面向人工智能，特别是深度学习初学者的书，本书旨在帮助更多的读者朋友了 解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者 的理解。作者自认才疏学浅，略懂皮毛，同时也限于时间和篇幅关系，难免出现理解偏差甚 至错缪之处，若能大方指出，作者将及时修正，不胜感激。 龙良曲 2021 年 10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 够帮助初学 者快速上手深度学习算法，另一方面也能汇聚众多行业专家们的力量，修正测试版中的谬误 之处，让本书变得更为完善。 本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企 业的商业用途，违法盗版和销售，必究其法律责任。 龙龙老师 2021 年 10 月 19 日 预览版202112 配 套 资 源 ❑ 提交错误或者修改等反馈意见，请在 Github

全连接神经网络实战 . pytorch 版 Dezeming Family Dezeming Copyright © 2021-10-02 Dezeming Family Copying prohibited All rights reserved. No part of this publication may be reproduced or transmitted in any 总之，我们的目标是写一个最好的最容易上手的 pytorch 入门教程——从全连接网络开始。 书中的示例代码在网站页面可以找到。每节末尾会提示“本节代码见 chapterX.py”。 20211006：完成本书第一版。 5 1. 准备章节 1.1 导入 pytorch 6 1.2 导入样本数据 7 本章节将神经网络训练之前的准备工作进行全面介绍。但我们并不介绍如何安装 pytorch，一是由 于不同版本的 现在我们希望能够看一下训练的分类结果，为了方便起见我们的源码里删除了上一节的内容。 我们先实现一下模型的保存功能，否则每次都重新训练会非常麻烦： # 从 第 900 轮 恢 复 模 型 （取 决 于 保 存 好 的 模 型 文 件） path = ’ ./ model ’ + s t r (900) +’ . pth ’ 24 4.3. 分类结果的可视化 checkpoint = torch . load ( path

wanzhen@cqu.edu.cn 2018 年 12 月 24 日 *Copyright © 2018 by Keras-Team 前 言 整理 Keras: 基于 Python 的深度学习库 PDF 版的主要原因在于学习 Keras 深度学习库时方 便本地查阅，下载最新 PDF 版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 。 来考虑推特推文数据集。我们想要建立一个模型来分辨两条推文是否来自同一个人（例如， 通过推文的相似性来对用户进行比较）。 实现这个目标的一种方法是建立一个模型，将两条推文编码成两个向量，连接向量，然后 添加逻辑回归层；这将输出两条推文来自同一作者的概率。模型将接收一对对正负表示的推特 数据。 由于这个问题是对称的，编码第一条推文的机制应该被完全重用来编码第二条推文。这里 我们使用一个共享的 我们使用一个共享的 LSTM 层来编码推文。 让我们使用函数式 API 来构建它。首先我们将一条推特转换为一个尺寸为 (140, 256) 的 矩阵，即每条推特 140 字符，每个字符为 256 维的 one-hot 编码（取 256 个常用字符）。 import keras from keras.layers import Input, LSTM, Dense from keras.models

com/p/59027692 3. 机器学习的背景知识-Python基础 51 Python 的环境的安装 ⚫Anaconda https://www.anaconda.com/distribution/ 通常选3.7版本，64位 可以用默认安装，右图两个选择框都勾上 52 Python 的环境的安装 ⚫Jupyter notebook 在cmd环境下，切换到代码的 目录，输入命令： jupyter notebook之后就可以 https://www.jetbrains.com/pycharm/ Pycharm 提供 免费的社区版 与 付费的专业版。专业版额外增加了一些功能， 如项目模板、远程开发、数据库支持等。个人学习 Python 使用免费的社区版 已足够。 如果有edu邮箱，那么推荐使用专业版，edu邮箱是可以免费使用专业版的。 安装过程照着提示一步步操作就可以了。 注意：安装路径尽量不使用带有 中文或空格 的目录，这样在之后的使用过程 从文件中读取数据（DataFrame） pd.read_csv() | 从CSV文件读取 pd.read_table() | 从制表符分隔文件读取，如TSV pd.read_excel() | 从 Excel 文 件 读 取 pd.read_sql() | 从 SQL 表 或 数 据 库 读 取 pd.read_json() | 从JSON格式的URL或文件读取 pd.read_clipboard() |

https://www.jetbrains.com/pycharm/ Pycharm 提供 免费的社区版 与 付费的专业版。专业版额外增加了一些功能， 如项目模板、远程开发、数据库支持等。个人学习 Python 使用免费的社区版 已足够。 如果有edu邮箱，那么推荐使用专业版，edu邮箱是可以免费使用专业版的。 安装过程照着提示一步步操作就可以了。 注意：安装路径尽量不使用带有 中文或空格 的目录，这样在之后的使用过程 从文件中读取数据（DataFrame） pd.read_csv() | 从CSV文件读取 pd.read_table() | 从制表符分隔文件读取，如TSV pd.read_excel() | 从 Excel 文 件 读 取 pd.read_sql() | 从 SQL 表 或 数 据 库 读 取 pd.read_json() | 从JSON格式的URL或文件读取 pd.read_clipboard() |

本书中的大部分代码都是基于PyTorch的。PyTorch是一个开源的深度学习框架，在研究界非常受欢迎。本书 中的所有代码都在最新版本的PyTorch下通过了测试。但是，由于深度学习的快速发展，一些在印刷版中代 码可能在PyTorch的未来版本无法正常工作。但是，我们计划使在线版本保持最新。如果读者遇到任何此类 问题，请查看安装 (page 9) 以更新代码和运行时环境。 下面是我们如何从PyTorch导入模块。 下面，我们将一个大小为28 × 28的单通道（黑白）图像通过LeNet。通过在每一层打印输出的形状，我们可 以检查模型，以确保其操作与我们期望的 图6.6.2一致。 图6.6.2: LeNet 的简化版。 X = torch.rand(size=(1, 1, 28, 28), dtype=torch.float32) for layer in net: X = layer(X) print(layer e block）和过渡层（transition layer）。前者定义如何连接输入和 输出，而后者则控制通道数量，使其不会太复杂。 7.7.2 稠密块体 DenseNet使用了ResNet改良版的“批量规范化、激活和卷积”架构（参见 7.6节中的练习）。我们首先实现一 下这个架构。 import torch from torch import nn from d2l import torch

过模型调优难度大 人力审核疲劳容易发 生漏过，人力招聘、 管理需要耗费不小成 本 识别种类 完备 节约成本 节省审核 人力 减少人工 漏审 技术诉求：自动识别图片或视频中出现的文 字、二维码、logo等内容以及违规人像、淫 秽、血腥、暴力、极端主义、恐怖主义图像 等，方便平台进行违规处理和风险管控。 业务痛点：面对越来越爆发的安全风险，解决办法门 槛高， 成本高；迫切需要技术解决方案 或点击标签即可获取对应类别的图片。 l 图片场景识别技术 SACC2017 OCR识别 – 证件类 Ø 优图OCR识别技术支持数字识别和超过7000个常用汉字 的识别 Ø 在国际ICDAR 2015文本检测项目中刷新世界纪录 Ø 技术指标： 名片91.4%，驾驶证91.5%，行驶证85.5% Ø 应用场景：身份证、驾驶证、行驶证、营业执照、银行 卡、车牌、名片等等多个垂直场景 l 证件类OCR识别

(Stable Release)、Beta 版本、原型版本（Prototype）。 其中稳定版本长期支持维护没有明显的性能问题与缺陷，理论 上支持向后兼容的版本；Beta 版本是基于用户反馈的改动版 本，可能有 API/SDK 函数改动，性能有进一步需要提升的空间； 原型版本是新功能还不可以，需要开发不能通过 pip 方式直接 安装。 1.1.2 Pytorch 的模块与功能 Pytorch PyCharm 的安装与配置 首先是从 Pycharm 官方网站上下载 Pycharm，版本有专业 版与社区版之分，社区版免费使用而专业版则需要付费使用。 Pycharm 官方网站如下： https://www.jetbrains.com/pycharm/ 点击就可以下载专业版试用或者社区免费版，默认安装之后就 可以通过桌面图标双击打开如下： 图 1-5（Pycharm 导航页面） PyTorch

硬挺 清脆 模糊 平坦 硬滑 否 12 浅白 蜷缩 浊响 模糊 平坦 软粘 否 13 青绿 稍蜷 浊响 稍糊 凹陷 硬滑 否 训练集 验证集 在已经生成的决策树上进行剪枝，从而 得到简化版的剪枝决策树。 后剪枝决策树通常比预剪枝决策树保留 了更多的分支。一般情况下，后剪枝的 欠拟合风险更小，泛化性能往往优于预 剪枝决策树。 24 C4.5的剪枝 后剪枝 基于表生成未剪枝的决策树 模糊 青绿 稍凹 浅白 青绿 乌黑 浅白 ① ⑥ ⑤ ④ ③ ② {6,7,15} {7,15} {1,2,3,14} 剪枝方法 在已经生成的决策树上进行剪枝，从而得到简化版的 剪枝决策树。 C4.5 采用的悲观剪枝方法，用递归的方式从低往上针 对每一个非叶子节点，评估用一个最佳叶子节点去代 替这课子树是否有益。如果剪枝后与剪枝前相比其错 误率是保持或者下降，则这棵子树就可以被替换掉。 本上的错误率。 后剪枝决策树的欠拟合风险很小，泛化性能往往优于 预剪枝决策树。 25 C4.5的剪枝 后剪枝 后剪枝的决策树 剪枝方法 在已经生成的决策树上进行剪枝，从而得到简化版的 剪枝决策树。 C4.5 采用的悲观剪枝方法，用递归的方式从低往上针 对每一个非叶子节点，评估用一个最佳叶子节点去代 替这课子树是否有益。如果剪枝后与剪枝前相比其错 误率是保持或者下降，则这棵子树就可以被替换掉。