如果一个样本在特征空间中与k个实例最为相似(即特征空间中最邻近)，那么这k个实例中大多数属于哪个类别，则该样本也属于这个类别。 对于分类问题：对新的样本，根据其k个最近邻的训练样本的类别，通过多数表决等方式进行预测。 对于回归问题：对新的样本，根据其k个最近邻的训练样本标签值的均值作为预测值。 ### 2. KNN算法 k近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是最简单的机器学习算法，可以用于基本的分类与回归方法。

数据持有节点将自己的隐私数据进行加密、切分、副本复制后分发到存储节点，存储节点通过应答数据持有节点的挑战证明自己持有数据分片。通过这些机制，实现了在不泄漏隐私的前提下充分且安全地利用存储资源。 训练样本和预测数据集往往是归属于不同机构的隐私数据。这些机构可以作为数据持有节点加入到去中心化存储网络中，通过多方安全计算网络发挥数据的最大价值。 ### 1.3 区块链网络 训练任务和预测任务通过区块 机器学习算法，即联邦学习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 ## 训练样本和预测数据集 PaddleDTX中的训练样本和预测数据集都是以文件的形式存储于中心化存储网络，在发布训练任务或者预测任务的时候，由计算需求节点指定。 ## 模型 算法和训练样本确定模型。通过模型可以对预测数据集的标签值进行预测。PaddleDTX中的模型，以“分片”的形式存储在参与 模型进行计算，再汇总得到最终结果。 ## 模型评估 PaddleDTX中的模型评估同样经过分布式改造。如果用户指定执行模型评估，并设置评估方式和参数，任务执行节点本地实例化评估器，评估器会划分训练样本、创建并运行训练任务、创建并运行预测任务，最后计算评估指标。任务执行节点各自持有部分训练集和验证集，在训练和预测过程中，任务执行节点之间会进行多轮复杂交互。 此外，PaddleDTX还支持动态模

数据持有节点将自己的隐私数据进行加密、切分、副本复制后分发到存储节点，存储节点通过应答数据持有节点的挑战证明自己持有数据分片。通过这些机制，实现了在不泄漏隐私的前提下充分且安全地利用存储资源。 训练样本和预测数据集往往是归属于不同机构的隐私数据。这些机构可以作为数据持有节点加入到去中心化存储网络中，通过多方安全计算网络发挥数据的最大价值。 ##### 1.2.3 1.3 区块链网络 训练任务 联邦学习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 ### 2.5 训练样本和预测数据集 PaddleDTX 中的训练样本和预测数据集都是以文件的形式存储于中心化存储网络，在发布训练任务或者预测任务的时候，由计算需求节点指定。 ### 2.6 模型 算法和训练样本确定模型。通过模型可以对预测数据集的标签值进行预测。PaddleDTX中的模型，以“分片”的形式存储 算，再汇总得到最终结果。 ### 2.7 模型评估 PaddleDTX 中的模型评估同样经过分布式改造。如果用户指定执行模型评估，并设置评估方式和参数，任务执行节点本地实例化评估器，评估器会划分训练样本、创建并运行训练任务、创建并运行预测任务，最后计算评估指标。任务执行节点各自持有部分训练集和验证集，在训练和预测过程中，任务执行节点之间会进行多轮复杂交互。 此外，PaddleDTX 还支持动态

数据持有节点将自己的隐私数据进行加密、切分、副本复制后分发到存储节点，存储节点通过应答数据持有节点的挑战证明自己持有数据分片。通过这些机制，实现了在不泄漏隐私的前提下充分且安全地利用存储资源。 训练样本和预测数据集往往是归属于不同机构的隐私数据。这些机构可以作为数据持有节点加入到去中心化存储网络中，通过多方安全计算网络发挥数据的最大价值。 ##### 1.2.3 1.3 区块链网络 训练任务 联邦学习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 ### 2.5 训练样本和预测数据集 PaddleDTX 中的训练样本和预测数据集都是以文件的形式存储于中心化存储网络，在发布训练任务或者预测任务的时候，由计算需求节点指定。 ### 2.6 模型 算法和训练样本确定模型。通过模型可以对预测数据集的标签值进行预测。PaddleDTX中的模型，以“分片”的形式存储 id 来标识同一条样本。本案例我们模拟分别持有部分特征变量数据的两方进行联合训练和预测。 具体样本文件说明如下： 1. 训练任务：任务执行节点 A 参与模型训练样本文件 train_dataA.csv，任务执行节点 B 参与模型训练样本文件 train_dataB.csv 2. 预测任务：任务执行节点 A 参与模型预测样本文件 predict_dataA.csv，任务执行节点 B 参与模型预测样本文件

数据持有节点将自己的隐私数据进行加密、切分、副本复制后分发到存储节点，存储节点通过应答数据持有节点的挑战证明自己持有数据分片。通过这些机制，实现了在不泄漏隐私的前提下充分且安全地利用存储资源。 训练样本和预测数据集往往是归属于不同机构的隐私数据。这些机构可以作为数据持有节点加入到去中心化存储网络中，通过多方安全计算网络发挥数据的最大价值。 ### 1.3 区块链网络 训练任务和预测任务通过区块 机器学习算法，即联邦学习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 ## 训练样本和预测数据集 PaddleDTX中的训练样本和预测数据集都是以文件的形式存储于中心化存储网络，在发布训练任务或者预测任务的时候，由计算需求节点指定。 ## 模型 算法和训练样本确定模型。通过模型可以对预测数据集的标签值进行预测。PaddleDTX中的模型，以“分片”的形式存储在参与 1. 训练任务：任务执行节点 A 参与模型训练样本文件 train_dataA.csv [https://github.com/PaddlePaddle/PaddleDTX/blob/master/dai/mpc/testdata/vl/linear_boston_housing/train_dataA.csv]，任务执行节点 B 参与模型训练样本文件 train_dataB.csv [https://github

L\big(\hat{y},y\big)=-y\log(\hat{y})-(1-y)\log(1-\hat{y}\big) $$ $ \hat{y} $ 表示预测值 y 表示真实值 为了衡量算法在全部训练样本上的表现如何，我们需要定义一个算法的代价函数，算法的代价函数是对m个样本的损失函数求和然后除以m: ## 代价函数 $$ J(w,b)=\frac{1}{m}\sum_{i=1}^{m}L\left(\hat{y}^{(i)} BGD） 梯度下降的每一步中，都用到了所有的训练样本 随机梯度下降（Stochastic Gradient Descent, SGD） 梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不需要首先将所有的训练集求和 小批量梯度下降（Mini-Batch Gradient Descent, MBGD） 梯度下降的每一步中，用到了一定批量的训练样本 ## 梯度下降的三种形式 批量梯度下降 批量梯度下降 (Batch Gradient Descent) 梯度下降的每一步中，都用到了所有的训练样本 学习率 参数更新 梯度 (同步更新 $ w_{j} $ ， $ (j=0,1,\ldots,n) $ ) ## 梯度下降的三种形式 ## 随机梯度下降 (Stochastic Gradient Descent) $$ \begin{aligned} 推导 w&=w-\alph

数据分发 / 模型保存  - 手动分发训练样本 - 手动拉取训练模型 ## TensorFlow使用现状及痛点 ## 总结： - 多人多服务器使用混乱，计算资源如何划分？ - 没有GPUs集群资源管理和调度（内存、CPU、GPU、端口），集群资源负载不均 "python tfTestDemo.py --training_epochs=20" \ #TF运行指令 --input /home/xitong/tf-test/data \ #训练样本HDFS路径 --output /home/xitong/tf-test/outputTest \ #保存模型的HDFS路径 --worker-num 3 \ #work数量 --worker-memory gRPC server） • Worker通过读取RDD获取训练样本 • RDD的数据cache到内存或者磁盘供多次迭代训练使用 ## SparkFlow介绍 ## SparkFlow与TensorFlow on Yarn对比： |SparkFlow|TensorFlow on Yarn| |---|---| |通过RDD读取训练样本数据，关心文件存储格式|直接读取HDFS数据，不关心文件存储格式|

BGD） 梯度下降的每一步中，都用到了所有的训练样本 随机梯度下降（Stochastic Gradient Descent, SGD） 梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不需要首先将所有的训练集求和 小批量梯度下降（Mini-Batch Gradient Descent, MBGD） 梯度下降的每一步中，用到了一定批量的训练样本 ## 梯度下降的三种形式 批量梯度下降 批量梯度下降 (Batch Gradient Descent) 梯度下降的每一步中，都用到了所有的训练样本 学习率 参数更新  梯度 (同步更新 $ w_{j} $ ， $ (j=0,1,\ldots,n) $ ) ## 梯度下降的三种形式 ， $ (j=0,1,\ldots,n) $ ) ## 梯度下降的三种形式 ## 小批量梯度下降（Mini-Batch Gradient Descent） 梯度下降的每一步中，用到了一定批量的训练样本 每计算常数b次训练实例，便更新一次参数w 参数更新 $$ \begin{aligned}w_{j}:&=w_{j}-\alpha\frac{1}{b}\sum_{k=i}^{i+

自然解释是一个矩阵。对于高阶和高维的y和x，求导的结果可以是一个高阶张量。 然而，虽然这些更奇特的对象确实出现在高级机器学习中（包括深度学习中），但当调用向量的反向计算时，我们通常会试图计算一批训练样本中每个组成部分的损失函数的导数。这里，我们的目的不是计算微分矩阵，而是单独计算批量中每个样本的偏导数之和。 # 对非标量调用backward需要传入一个gradient参数，该参数指定微分函数关于self的梯度。 hbf{x}^{(i)}+b-y^{(i)}\right)^{2}. $$ 在训练模型时，我们希望寻找一组参数 $ (\mathbf{w}^{*}, b^{*}) $ ，这组参数能最小化在所有训练样本上的总损失。如下式： $$ \mathbf{w}^{*},b^{*}=\underset{\mathbf{w},b}{\operatorname{a r g m i n}}L(\mathbf{w} 候随机抽取一小批样本，这种变体叫做小批量随机梯度下降（minibatch stochastic gradient descent）。 在每次迭代中，我们首先随机抽样一个小批量B，它是由固定数量的训练样本组成的。然后，我们计算小批量的平均损失关于模型参数的导数（也可以称为梯度）。最后，我们将梯度乘以一个预先确定的正数 $ \eta $ ，并从当前参数的值中减掉。 我们用下面的数学公式来表示这一更新过程（

基于高效内容分发的场景应用 - 基于深度语义的相关性应用 • 基于表征学习的TS预估 • 新一代积向量召回引擎 ## 超大规模，高维稀疏训练样本 - 深度语义：训练样本X billion*X万级（稀疏） 模型参数亿+ 迭代次数X million步 - 表征学习：训练样本X billion*X million（稀疏）模型参数 X亿+ 迭代次数 Xmillion ![Image](/uploads/