2017 Amazon 的人工智能&深度学习 围绕数据的“飞轮” 机器学习 深度学习 人工智能 更多的用户 更好的产品 更多的数据 更好的分析 对象存储 数据库 数据仓库 数据流分析 商业智能 Map/Reduce 内存数据库 数据检索 点击流 用户活动 内容生成 购买 点击 喜好 传感器数据 机器学习& 人工智能 大数据 更多的用户 更好的产品 更多的数据 更好的分析 appealing.” Amazon Rekognition 基于深度学习的图像识别服务 目标和场景检测 面部分析 人脸比对 人脸识别 集成了 S3, Lambda, Polly, Lex 对象和场景识别 为成千上万的对象、场景和概念生成标签，并配有可信度的数字 • 检索、过滤并对 图片库去粗取精 • 对用户生成的内 容进行智能检索 • 摄影、旅游、房 地产、度假以及 租赁等应用场景 Maple

加载 MNIST 数据集，不需要开发者额 外编写代码，使用起来非常方便。这里利用 PyTorch 附带的 torchvision 库自动在线下载 MNIST 数据集，并转换为 PyTorch 的数据对象 DataLoader 格式。代码如下： import torch # 导入 pytorch from torch import nn # 导入 pytorch 的网络层子库 from (0.5,), (0.5,)) ])) # 创建 Dataloader 对象，方便以批量形式训练，随机打乱顺序 train_loader=torch.utils.data.DataLoader(train_db, batch_size=batch_size, sh uffle=True) PyTorch 中加载的 MNIST 数据图片，数值的范围为[0,255]。在机器学习中，一般 希望数据的范围在 0 周围的小范围内分布。通过设置预处理 transform 参数，首先将输入图 片转换为张量对象，并将[0,255]范围像素值归一化(Normalize)到[−1,1]区间，更有利于模 型的训练。 网络中每张图片的计算流程是通用的，因此在计算的过程中可以一次进行多张图片的 计算，充分利用

⚫Pycharm https://www.jetbrains.com/pycharm/ Pycharm 提供 免费的社区版 与 付费的专业版。专业版额外增加了一些功能， 如项目模板、远程开发、数据库支持等。个人学习 Python 使用免费的社区版 已足够。 如果有edu邮箱，那么推荐使用专业版，edu邮箱是可以免费使用专业版的。 安装过程照着提示一步步操作就可以了。 注意：安装路径尽量不使用带有 ⚫Scikit-learn Python模块 59 Python模块-NumPy ⚫NumPy NumPy是一个用Python实现的科学计算的扩展程序库，包括： 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 read_clipboard() | 从剪切板读取 将DataFrame写入⽂件 df.to_csv() | 写入CSV文件 df.to_excel() | 写入Excel文件 df.to_sql() | 写入SQL表或数据库 df.to_json() | 写入JSON格式的文件 df.to_clipboard() | 写入剪切板 68 Python模块-SciPy ⚫SciPy SciPy是构建在NumPy的基础之上的，它

⚫Pycharm https://www.jetbrains.com/pycharm/ Pycharm 提供 免费的社区版 与 付费的专业版。专业版额外增加了一些功能， 如项目模板、远程开发、数据库支持等。个人学习 Python 使用免费的社区版 已足够。 如果有edu邮箱，那么推荐使用专业版，edu邮箱是可以免费使用专业版的。 安装过程照着提示一步步操作就可以了。 注意：安装路径尽量不使用带有 ⚫Scikit-learn Python模块 60 Python模块-NumPy ⚫NumPy NumPy是一个用Python实现的科学计算的扩展程序库，包括： 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 read_clipboard() | 从剪切板读取 将DataFrame写入⽂件 df.to_csv() | 写入CSV文件 df.to_excel() | 写入Excel文件 df.to_sql() | 写入SQL表或数据库 df.to_json() | 写入JSON格式的文件 df.to_clipboard() | 写入剪切板 69 Python模块-SciPy ⚫SciPy SciPy是构建在NumPy的基础之上的，它

l云原生Cloud-Native超大规模视图存储、处理、检 索 l处理数万到数十万路，城市范围级别监控、门禁摄 像头数据 l10-100 Billion级别深度学习特征检索 - PB以上级别数据库存储 - 100PB级别抓拍图片存储 - 每秒万次并发检索请求 l大规模推广应用 l某种程度上说，城市内所有市民都是系统的用户 深度学习算法发展为平台系统赋能 首次超过人眼 2014 2015 对比C++： - 无法直接控制操作系统线程，CUDA 调用需要特殊处理 - 部分标准库实现依赖reflect，性能较 差 - GC的带来的开销，如在Go Heap上 构建百万以上级别的对象缓存，需要 仔细优化 百倍慢于等价的C实现！ 回顾 • 智慧城市中，在智能安防领域机器视觉有着爆发式应用 • 我们使用基于深度学习的机器视觉技术，构建了超大规模的自我演化 的分布式智能系统

Python 用户的高性能和易于上手的数 据结构化和数据分析工具。 数据框（Data Frame）是一个二维带标记的数据结构，每列（column）数据类型 可以不同。我们可以将其当作电子表格或数据库表。 数据读入 pandas.read_csv 方法实现了快速读取 CSV（comma-separated) 文件到数据框的功能。 数据可视化库：matplotlib & seaborn & mplot3d 作后才能获取。然后， 用户需要使用 FileWriter 实例将这些数据写入事件文件。最后，启动 TensorBoard 程序， 加载事件文件中的序列化数据，从而可以在各个面板中展示对应的可视化对象。 tf.summary 模块介绍 前述流程中使用的 FileWriter 实例和汇总操作（Summary Ops） 均属于 tf.summary 模块。其主要功能是获取和输出模型相关的 序列化数据，它贯通

Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法。它将簇 定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并 可在噪声的空间数据库中发现任意形状的聚类。 密度：空间中任意一点的密度是以该点为圆心，以扫描半径构成的圆区域内包 含的点数目。 30 密度聚类-DBSCAN DBSCAN使用两个超参数： 扫描半径 (eps) Eps MinPts=5 32 3.密度聚类和层次聚类 DBSCAN密度聚类的算法流程 1.将所有点标记为核心点、边界点或噪声点； 2. 如果选择的点是核心点，则找出所有从该点出发的密度可达对象形成簇； 3. 如果该点是非核心点，将其指派到一个与之关联的核心点的簇中； 4. 重复以上步骤，直到所点都被处理过 P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2.1.6 转换为其他Python对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2.2 数据预处理 . . . . . . . . . 间。 成熟的库应该自动化常见的任务，示例代码应该使从业者可以轻松地修改、应用和扩展常见的应用程序，以 满足他们的需求。以动态网页应用为例。尽管许多公司，如亚马逊，在20世纪90年代开发了成功的数据库驱 动网页应用程序。但在过去的10年里，这项技术在帮助创造性企业家方面的潜力已经得到了更大程度的发挥， 部分原因是开发了功能强大、文档完整的框架。 测试深度学习的潜力带来了独特的挑战，因为任何 用程序）与应用程序进行交互；紧接着，应用程序与数据库引擎进行交互，以保存交易历史记录并跟踪每个 用户的动态；其中，这个应用程序的核心——“业务逻辑”，详细说明了应用程序在各种情况下进行的操作。 为了完善业务逻辑，开发人员必须细致地考虑应用程序所有可能遇到的边界情况，并为这些边界情况设计合 适的规则。当买家单击将商品添加到购物车时，应用程序会向购物车数据库表中添加一个条目，将该用户ID与 商品I

0年提出的关联分析算法，它采 取如下分治策略：将提供频繁项集的数据库压缩到一棵频繁模式树（FP-Tree）， 但仍保留项集关联信息。 该算法是对Apriori方法的改进。生成一个频繁模式而不需要生成候选模式。 FP-growth算法以树的形式表示数据库，称为频繁模式树或FP-tree。 此树结构将保持项集之间的关联。数据库使用一个频繁项进行分段。这个片段被称 为“模式片段”。分析了这些 FP-growth算法只需要对数据库进行两次扫描，而Apriori算法在求每个潜在 的频繁项集时都需要扫描一次数据集，所以说Apriori算法是高效的。其中 算法发现频繁项集的过程是： (1)构建FP树； (2)从FP树中挖掘频繁项集。 28 3.FP-Growth算法 FP-growth算法思想 该算法和Apriori算法最大的不同有两点： 第一，不产生候选集 第二，只需要两次遍历数据库，大大提高了效率。 第二，只需要两次遍历数据库，大大提高了效率。 29 3.FP-Growth算法 FP-Tree （ Frequent Pattern Tree ） FP树(FP-Tree)是由数据库的初始项集组成的树状结构。 FP树的目的是挖掘最 频繁的模式。FP树的每个节点表示项集的一个项。 根节点表示null，而较低的节点表示项集。在形成树的同时，保持节点与较 低节点（即项集与其他项集）的关联。 30 3.FP-Growth算法

（Series派生的子 类）对象表示。 该对象与datetime具有高度的兼容性，可以直接通过 to_datetime()函数将datetime转换为TimeStamp对象。 pd.to_datetime('20180828') 9 创建时间序列 如果传入的是多个datetime组成的列表，则Pandas会 将其强制转换为DatetimeIndex类对象。 date_index = 时间戳为索引的Series对象。 date_ser = pd.Series([11, 22, 33], index=date_index) 2018-08-20 11 2018-08-28 22 2018-09-08 33 11 创建时间序列 还可以将包含多个datetime对象的列表传给 index参数，同样能创建具有时间戳索引的 Series对象。 date_list datetime(2018, 1, 15] time_se = pd.Series(np.arange(6), index=date_list) 12 创建时间序列 如果希望DataFrame对象具有时间戳索引， 也可以采用上述方式进行创建。 data_demo = [[11, 22, 33], [44, 55, 66]] date_list = [datetime(2018, 1, 23)