无监督学习方法概述 聚类案例 3.金融业 银行可以观察到可能的金融欺诈行为，就此 向客户发出警告。在聚类算法的帮助下，保 险公司可以发现某些客户的欺诈行为，并调 查类似客户的保单是否有欺诈行为。 10 1.无监督学习方法概述 聚类案例 4.搜索引擎 百度是人们使用的搜索引擎之一。举个例子，当 我们搜索一些信息，如在某地的超市，百度将为 我们提供不同的超市的选择。这是聚类的结果， 提供给你的结果就是聚类的相似结果。 K-means算法流程 第三步：移动质心，因为上面步骤中形成的簇 没有优化，所以需要形成优化的簇。为此，我 们需要迭代地将质心移动到一个新位置。取一 个簇的数据点，计算它们的平均值，然后将该 簇的质心移动到这个新位置。对所有其他簇重 复相同的步骤。 迭代更新 20 2.K-means聚类 K-means算法流程 优化 上述两个步骤是迭代进行的，直到质心停止移动，即它们不再改变自己的位置，并且成为静态的。一 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 X 1 2 2 4 5 6 6 7 9 1 3 5 3 Y 2 1 4 3 8 7 9 9 5 12 12 12 3 举例：有如下13个样本点，使用DBSCAN进行聚类 33 密度聚类-DBSCAN DBSCAN密度聚类的算法流程 13 12 11 10 9 8 7 6 5 4 3 2 1 0 0

), ?(?)是同一个人，则) = ||?(?(?)) − ?(?(?))||2 2较小 如果?(?), ?(?)不是同一个人，则) = ||?(?(?)) − ?(?(?))||2 2较大 10 1.人脸识别概述 Triplet 损失 三元组损失，它代表你通常会同时看三张图片，你需要看Anchor图片 、Postive图片，还有Negative图片，我要把Anchor图片、Positive ?(?, ?, ?) = ???(||?(?) − ?(?)||2 − ||?(?) − ?(?)||2 + ?, 0) 假设有1000个不同的人的10000张照片，也就是这1000个人平均每个人10张 照片，组成了整个数据集。 如果每个人只有1张照片，那么根本没法训练这个系统。 14 1.人脸识别概述 Triplet 损失 为了构建一个数据集，你要做的就是尽可能选择难训练的三元组?、

步认知，并引出相关问题；第 4~5 章为第 2 部分，主要介绍 PyTorch 相关基础，为后续算法 实现铺垫；第 6~9 章为第 3 部分，主要介绍神经网络的核心理论和共性知识，让读者理解深 度学习的本质；第 10~15 章为模型算法应用部分，主要介绍常见的算法与模型，让读者能够 学有所用。 在本书中编写时，很多英文词汇尚无法在业界找到一个共识翻译名，因此作者备注翻译 的英文原文，供读者参考，同时也方便 能够对每一个研究方向都有深刻 的理解。作者自认才疏学浅，略懂皮毛，同时也限于时间和篇幅关系，难免出现理解偏差甚 至错缪之处，若能大方指出，作者将及时修正，不胜感激。 龙良曲 2021 年 10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 谬误 之处，让本书变得更为完善。 本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企 业的商业用途，违法盗版和销售，必究其法律责任。 龙龙老师 2021 年 10 月 19 日 预览版202112 配 套 资 源 ❑ 提交错误或者修改等反馈意见，请在 Github Issues 页面提交： https://github.com/dragen186

. . . 9 3.1.5 例子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.1.5.1 基于多层感知器 (MLP) 的 softmax 多分类： . . . . . . . . . . . . 11 3.1.5.2 基于多层感知器的二分类： . . . . . . . . . . . . . . . . . . . . . . . . . 137 8.2.4 top_k_categorical_accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 8.2.5 sparse_top_k_categorical_accuracy . . . . . . . . . . . . . . 142 9.2.8 TFOptimizer [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 10 激活函数 Activations 143 10.1 激活函数的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9.8.3 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378 10 注意力机制 381 10.1 注意力提示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631 13.13 实战 Kaggle 比赛：图像分类 (CIFAR‐10) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632 13.13.1 获取并组织数据集 . . . . . . . . . 成熟的库应该自动化常见的任务，示例代码应该使从业者可以轻松地修改、应用和扩展常见的应用程序，以 满足他们的需求。以动态网页应用为例。尽管许多公司，如亚马逊，在20世纪90年代开发了成功的数据库驱 动网页应用程序。但在过去的10年里，这项技术在帮助创造性企业家方面的潜力已经得到了更大程度的发挥， 部分原因是开发了功能强大、文档完整的框架。 测试深度学习的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用深度学习需

时间序列是指多个时间点上形成的数值序列，它既可 以是定期出现的，也可以是不定期出现的。 7 时间序列的数据种类 时间序列的数据主要有以下几种： 时间戳 表示特定的时刻 ，比如现在 时期 比如2018年或者 2018年10月 时间间隔 由起始时间戳和 结束时间戳表示 8 创建时间序列 Pandas中，时间戳使用Timestamp（Series派生的子 类）对象表示。 该对象与datetime具有高度的兼容性，可以直接通过 '20180908']) DatetimeIndex(['2018-08-20', '2018-08-28', '2018-09-08'], dtype='datetime64[ns]', freq=None) 10 创建时间序列 在Pandas中，最基本的时间序列类型就是以 时间戳为索引的Series对象。 date_ser = pd.Series([11, 22, 33], index=date_index) pd.date_range('2018/08/10', '2018/08/20') 22 创建固定频率的时间序列 如果只是传入了开始日期或结束日期，则还 需要用periods参数指定产生多少个时间戳。 pd.date_range(start='2018/08/10', periods=5) pd.date_range(end='2018/08/10', periods=5) 23 创建固定频率的时间序列

全连接神经网络实战 . pytorch 版 Dezeming Family Dezeming Copyright © 2021-10-02 Dezeming Family Copying prohibited All rights reserved. No part of this publication may be reproduced or transmitted in any DezemingFamily 系列书和小册子因为是电子书，所以可以很方便地进行修改和重新发布。如果您 获得了 DezemingFamily 的系列书，可以从我们的网站 [https://dezeming.top/] 找到最新版。对 书的内容建议和出现的错误欢迎在网站留言。 0.1 本书前言 尽管各种关于神经网络 python 实战的资料已经很多了，但是这些资料也各有优点和缺点，有 时候也很难让新手有比较好的选择。 #如 果 根 目 录 没 有 就 下 载 transform=ToTensor () , target_transform=Lambda( lambda y : torch . zeros (10 , dtype=torch . f l o a t ) . scatter_ (0 , torch . tensor (y) , value=1)) ) transf orm 是对数据的转换，ToTensor()

（NLP） 的 torchtext、针对计算机视觉的 torchvision、针对语音处理 的 torchaudio，这些库支持快速模型训练与演示应用，可以 帮助开发者快速搭建原型演示。此外在移动端支持、模型部署 的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 也在不断的演化改进。 在操作系统与 SDK 支持方面，Pytorch 从最初的单纯支持 Python Python 语言到如今支持 Python/C++/Java 主流编程语言， 目前已经支持 Linux、Windows、MacOS 等主流的操作系统、 同时全面支持 Android 与 iOS 移动端部署。 在版本发布管理方面，Pytorch 分为三种不同的版本分别是稳 定版本 (Stable Release)、Beta 版本、原型版本（Prototype）。 其中稳定版本长期支持维护没有明显的性能问题与缺陷，理论 框架之一，而且大有后来居上之势，因此随着人工智能赋能各 行各业，Pytorch 框架必然会更加得到开发者的青睐，成为人 工智能 (AI) 开发者必备技能之一。同时 Pytorch 也会在部署跟 推理方面会更加完善与方便，加强支持移动端，嵌入式端等应 用场景，相信掌握 Pytorch 框架的开发技术人才也会得到丰厚 回报。 1.2 环境搭建 Pytorch 的开发环境搭建十分的简洁，它的依赖只有 Python 语 言 SDK，

使用高精度激光雷达构建地图 SLAM应用介绍 • 虚拟/增强现实：Inside-Out方案 目前绝大多数VR头盔都采用 Outside-In的定位方案，需要在环境 中放置一个或多个传感器，活动范 围受限，不支持大范围移动的定位。 基于SLAM技术的VR/AR可以实现Inside-Out方案：将传感器固定在使用者端。 优点：不需要提前布置环境中的传感器，且没有活动范围的限制。 《The Devices of VR: 视频序列。 • 单目视觉的同时定位与地图构建 • ENFT-SLAM：能在大尺度场景下实时稳定工作、在线回路闭合； • RDSLAM：能在动态场景下稳定工作； • RKSLAM：可以实时运行在移动设备上，并能处理快速运动和强 旋转 。 ENFT-SFM: Efficient Non- Consecutive Feature Tracking for Robust SFM 循环回路序列和多视频序列 由 度的相似变换控制； • 如果投影误差比较大，检测分裂点将序列分段，然后优化； • 重复上述步骤直至投影误差小于阈值或不能再分裂为止。 Garden数据集的SfM结果 6段长视频序列，将近10万帧，特征匹配74分钟，SfM求解16分钟（单线程），平均17.7fps VisualSFM：SfM求解 57 分钟 （GPU加速） Garden数据集上的比较 ENFT-SFM ORB-SLAM