2022年09月 机器学习-第二章 回归 黄海广 副教授 2 本章目录 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 3 1. 线性回归 01 认识Python 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 4 监督学习分为回归和分类 ✓ 回归（Regression、Prediction） T恤？ ✓ 根据肿瘤的体积、患者的年龄来判断良性或恶性？ 回归的概念 标签连续 标签离散 5 线性回归-概念 线性回归（Linear Regression） 是一种通过属性的线性组合来进行预测 的线性模型，其目的是找到一条直线或 者一个平面或者更高维的超平面，使得 预测值与真实值之间的误差最小化。 6 线性回归-符号约定 建筑面积 总层数 楼层 实用面积 房价 143 ?? ? 代表特征矩阵中第 ? 行的第 ? 个特征 ?(2) = 162.2 31 8 118 ?(2) =37000 上图的?2 2 = 31, ?3 2 = 8 7 线性回归-算法流程 ℎ ? = ?0 + ?1?1 + ?2?2 + . . . +???? ? 和 ? 的关系 可以设?0 = 1 则：ℎ ? = ?0?0 + ?1?1 + ?2?2+. . .

1 2022年02月 机器学习-逻辑回归 黄海广 副教授 2 本章目录 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 3 1.分类问题 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 4 监督学习的最主要类型 ✓ 分类（Classification） Sigmoid函数 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 8 ? ? 代表一个常用的逻辑函数（logistic function）为?形函数（Sigmoid function） 则：? ? = ? ? = 1 1+?−? 合起来，我们得到逻辑回归模型的假设函数： 当? ? 大于等于0.5时，预测 y=1 当? ? 小于0 注意：若表达式 ℎ ? = ? = ?0 + ?1?1 + ?2?2+. . . +???? + ? = ?T? + ?， 则?可以融入到?0，即：?=?T? 9 2.Sigmoid函数 线性回归的函数 ℎ ? = ? = ?T?，范围是(−∞, +∞)。 而分类预测结果需要得到[0,1]的概率值。 在二分类模型中，事件的几率odds：事件发生与事件不发生的概率之比为 ? 1−?，

03 月 29 日 整体介绍 1 系统介绍 1 2 基本概念 3 3 正在进行中 7 4 快速安装 9 5 编译和安装 11 6 客户端工具 23 7 案例应用-线性回归算法测试 29 8 案例应用-逻辑回归算法测试 35 9 部署架构 39 10 Distributed AI 41 11 XuperDB 49 12 Crypto 53 13 我们的团队 57 14 参与开发 确认数据使用权，由任务执行节点最终执行。 2.4 算法 PaddleDTX 中的算法，一般指的是经过分布式改造的机器学习算法，即联邦学习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 2.5 训练样本和预测数据集 PaddleDTX 中的训练样本和预测数据集都是以文件的形式存储于中心化存储网络，在发布训练任务或者预测 任务的时候，由计算需求节点指定。 2.6 模型 CHAPTER3 正在进行中 我们即将支持的主要功能如下: 1. 支持更多的机器学习算法和对应的分布式改造，主要包括神经网络、决策树等； 2. 支持横向联邦学习算法，计划先对多元线性回归和多元逻辑回归进行改造； 3. 优化目前使用的加法同态算法 Paillier 的性能； 4. 去中心化存储服务支持负载均衡策略，根据存储节点剩余资源和以往表现情况，在文件分发时找到最 优节点列表。 7

01 月 25 日 整体介绍 1 系统介绍 1 2 基本概念 3 3 正在进行中 5 4 快速安装 7 5 编译和安装 9 6 客户端工具 21 7 案例应用-线性回归算法测试 27 8 案例应用-逻辑回归算法测试 33 9 部署架构 37 10 Distributed AI 39 11 XuperDB 41 12 Crypto 45 13 我们的团队 49 14 参与开发 确认数据使用权，由任务执行节点最终执行。 2.4 算法 PaddleDTX 中的算法，一般指的是经过分布式改造的机器学习算法，即联邦学习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 2.5 训练样本和预测数据集 PaddleDTX 中的训练样本和预测数据集都是以文件的形式存储于中心化存储网络，在发布训练任务或者预测 任务的时候，由计算需求节点指定。 2.6 模型 CHAPTER3 正在进行中 我们即将支持的主要功能如下: 1. 支持更多的机器学习算法和对应的分布式改造，主要包括神经网络、决策树等； 2. 支持横向联邦学习算法，计划先对多元线性回归和多元逻辑回归进行改造； 3. 提供联邦学习训练参数的评估能力，通过交叉验证等方式评估训练参数的优劣； 4. 优化目前使用的加法同态算法 Paillier 的性能； 5. 去中心化存储服务支持负载均衡

�� 7 1.5 线性回归预测������������������������������������������������������������������������������������������������������������������������������������������������������������� 9 1.5.1 线性回归过程 ���������� ��������������������������������������������������������������������������������������� 9 1.5.2 线性回归代码演示 ���������������������������������������������������������������������������������������������� 1.5 线性回归预测 上一小节介绍了 Pytorch 框架各种基础操作，本节我们学习一 个堪称是深度学习版本的 Hello World 程序，帮助读者理解模 型训练与参数优化等基本概念，开始我们学习 Pytorch 框架编 程的愉快旅程。 1.5.1 线性回归过程 很坦诚的说，有很多资料把线性回归表述的很复杂、一堆公式 推导让初学者望而生畏，无法准确快速理解线性回归，这里作 者将

快速安装 编译和安装 源码编译和安装 通过 docker 安装 客户端工具 操作XuperDB 操作Distributed AI 案例应用-线性回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 案例应用-逻辑回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 系统详解 部署架构 计算需求方(Requester) 任务执行节点(Executor 有节点确认数据使用权，由 任务执行节点最终执行。 算法 PaddleDTX中的算法，一般指的是经过分布式改造的机器学习算法，即联邦学 习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 训练样本和预测数据集 PaddleDTX中的训练样本和预测数据集都是以文件的形式存储于中心化存储网 络，在发布训练任务或者预测任务的时候，由计算需求节点指定。 模型 算法和训练样本 时，可获得一系列评估指标，展示训练效果变化趋势。 正在进行中 我们即将支持的主要功能如下: 1. 支持更多的机器学习算法和对应的分布式改造，主要包括神经网络、决策 树等； 2. 支持横向联邦学习算法，计划先对多元线性回归和多元逻辑回归进行改 造； 3. 优化目前使用的加法同态算法Paillier的性能； 4. 去中心化存储服务支持负载均衡策略，根据存储节点剩余资源和以往表现 情况，在文件分发时找到最优节点列表。 快速安装

快速安装 编译和安装 源码编译和安装 通过 docker 安装 客户端工具 操作XuperDB 操作Distributed AI 案例应用-线性回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 案例应用-逻辑回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 系统详解 部署架构 计算需求方(Requester) 任务执行节点(Executor 有节点确认数据使用权，由 任务执行节点最终执行。 算法 PaddleDTX中的算法，一般指的是经过分布式改造的机器学习算法，即联邦学 习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 训练样本和预测数据集 PaddleDTX中的训练样本和预测数据集都是以文件的形式存储于中心化存储网 络，在发布训练任务或者预测任务的时候，由计算需求节点指定。 模型 算法和训练样本 最终结 果。 正在进行中 我们即将支持的主要功能如下: 1. 支持更多的机器学习算法和对应的分布式改造，主要包括神经网络、决策 树等； 2. 支持横向联邦学习算法，计划先对多元线性回归和多元逻辑回归进行改 造； 3. 提供联邦学习训练参数的评估能力，通过交叉验证等方式评估训练参数的 优劣； 4. 优化目前使用的加法同态算法Paillier的性能； 5. 去中心化存储服务支持负载均衡策略，根据存储节点剩余资源和以往表现

. . . . . . . . . . . 82 3 线性神经网络 85 3.1 线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 3.1.1 线性回归的基本元素 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 3.1.4 从线性回归到深度网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 3.2 线性回归的从零开始实现 . . . . . . . . . . . . . . . . . . . . . . . . . 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 3.3 线性回归的简洁实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 3.3.1 生成数据集