1 2023年04月 深度学习-优化算法 黄海广 副教授 2 01 小批量梯度下降 本章目录 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 3 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 1.小批量梯度下降 4 小批量梯度下降 小批量梯度下降（Mini-Batch (?) ?? (?) (同步更新?? ，(j=0,1,...,n )) 5 小批量梯度下降 6 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 2.优化算法 7 伦敦温度的例子 days temperature ?1 = 40°F ?2 = 49°F ?3 = 45°F ... ?180 = 60°F (1 − ?)??， ?: = ? − ????， ?: = ? − ????， 这样就可以减缓梯度下降的 幅度。 通常情况下：? = 0.9 11 RMSprop 在第?次迭代中，该算法会照常计算当下mini-batch的微分??，??，所以我会 保留这个指数加权平均数，我们用到新符号??? ，而不是??? ，因此??? = ???? + (1 − ?)??2，澄清一下，这个平方的操作是针对这一整个符号的，这样做

1 2021年04月 机器学习-KNN算法 黄海广 副教授 2 01 距离度量 02 KNN算法 本章目录 03 KD树划分 04 KD树搜索 3 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 1.距离度量 4 距离度量 欧氏距离(Euclidean distance) ? ?, ? = ෍ =1 ? ( ??)2 10 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 2.KNN算法 11 2.KNN算法 ?近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是最简单的机器学习算 法，可以用于基本的分类与回归方法。 算法的主要思路： 如果一个样本在特征空间中与?个实例最为相似(即特征空间中最邻近)，那么这 对于回归问题：对新的样本，根据其?个最近邻的训练样本标签值的均值作为预 测值。 12 2.KNN算法 ?近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是 最简单的机器学习算法，可以用于基本的分类与回归方法。 ?近邻法的三要素： • ?值选择。 • 距离度量。 • 决策规则。 13 2.KNN算法 算法流程如下： 1.计算测试对象到训练集中每个对象的距离 2.按照距离的远近排序

2019 KE.COM ALL COPYRIGHTS RESERVED 1 周玉驰 贝壳找房 - 数据智能中心 - 策略算法部 AI选房中深度学习的实践及优化 2019 KE.COM ALL COPYRIGHTS RESERVED 2 2019 KE.COM ALL COPYRIGHTS RESERVED 2 2019 KE.COM ALL COPYRIGHTS RESERVED 3 自我介绍 周玉驰  硕士毕业于中科院  先后就职于华为，百度和医渡云  目前就职于贝壳找房  主要负责两个方向  房源策略算法  房客人关系图谱 扫一扫二维码图案，加我微信 2019 KE.COM ALL COPYRIGHTS RESERVED 4 目录  为什么要做AI选房  如何做AI选房  模型演变历程  实践应用  总结&思考 2019

经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 引言：外卖配送的背后 2 引言：外卖订单调度系统要考虑的因素 3 订单相关 骑士相关 • 商户、用户位置 • 用户期望时间 • 预计出餐时间.. • 现有订单的配送路线 • 新增订单后配送路线的改变情况 • 历史取送餐速度 • 完成每个订单的预计时间 • 熟悉的区域 • 配送工具 调度 系统 1.0 外卖订单智能调度要解决的核心问题 7 调度系统算法 1 2 3 4 5 路线规划 • 动态规划最优配送路线，且合理 并单，以最低的配送成本最大化 满足用户配送体验。 • 考虑用户期望时间的TSP问题 • 构建模型综合评估用户体验与配 送成本打分 • 采用动态规划和模拟退火算法等 算法，求得最优路线 1 8 时间预估 用户下单 开始配送 骑士到店 数据，DNN 更好地学习自身有用的特征 - DNN对特征工程要求较低，自身可以学习有用的特征，PCA降维影响较小，但时间复杂度较高 • XGBoost模型 - 采用近似求解算法，找出可能的分裂点，避免选用贪心算法的过高时间复杂度 - 计算采用不同分裂点时，叶子打分函数的增益；并选择增益最高的分裂点，作为新迭代树的最终分裂 节点，构造新的迭代树 - 通过调节迭代树数目、学习倍率、迭代树

架构中安装使用 FIPS 验证的/Modules in Process 加密库的 OpenShift Container Platform 集群，不要创建使用 ed25519 算法的密钥。反 之，创建一个使用 rsa 或 ecdsa 算法的密钥。 2. 查看公共 SSH 密钥： $ ssh-keygen -t ed25519 -N '' -f / 1 第 第 4 章 ssh/id_dsa）。 a. 如果 ssh-agent 进程还没有针对您的本地用户运行，请将其作为后台任务启动： 输出示例 出示例 注意 注意 如果您的集群采用 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密 钥必须是 RSA 或 ECDSA。 4. 将 SSH 私钥添加到 ssh-agent： 指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519 输出示例 架构中安装使用 FIPS 验证的/Modules in Process 加密库的 OpenShift Container Platform 集群，不要创建使用 ed25519 算法的密钥。反 之，创建一个使用 rsa 或 ecdsa 算法的密钥。 2. 查看公共 SSH 密钥： 例如，运行以下命令查看 ~/.ssh/id_ed25519.pub 公钥： 3. 将 SSH 私钥身份添加到您本地用户的 SSH

架构上安装使用 FIPS 验证的/Modules in Process 加密库的 OpenShift Container Platform 集群，请不要创建使用 ed25519 算法的密钥。相 反，创建一个使用 rsa 或 ecdsa 算法的密钥。 2. 查看公共 SSH 密钥： $ ssh-keygen -t ed25519 -N '' -f / 1 $ cat / ssh/id_dsa。 a. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动： 输 输出示例 出示例 注意 注意 如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必 须是 RSA 或 ECDSA。 4. 将 SSH 私钥添加到 ssh-agent ： 指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub 架构上安装使用 FIPS 验证的/Modules in Process 加密库的 OpenShift Container Platform 集群，请不要创建使用 ed25519 算法的密钥。相 反，创建一个使用 rsa 或 ecdsa 算法的密钥。 2. 查看公共 SSH 密钥： 例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥： $ ssh-keygen -t ed25519

中提 供。 建议将诸如频道规格或版本范围等约束与所选 Operator 的发行策略保持一致。例如，当 Operator 使用 stable 频道时，您应该将镜像限制到该频道，并有可能最小的版本来查找下载卷之间的正确平衡并定期获 取稳定更新。如果 Operator 选择了发行版本频道方案，如 stable-3.7，您应该镜像该频道中的所有发行 版本。这可让您继续使用 Operator 的补丁版本，如 密库已提交给 NIST 用于 FIPS 140-2/140-3 验证）的 OpenShift Container Platform 集群，则不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。 $ ssh-keygen -t ed25519 -N '' -f / 1 OpenShift Container Platform ssh/id_dsa。 a. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动： 输 输出示例 出示例 注意 注意 如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必 须是 RSA 或 ECDSA。 4. 将 SSH 私钥添加到 ssh-agent ： 指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

集群模式是非常普遍的模式，符合分布式架构的基本理念，即横向扩容，当前消费者如 果无法快速及时处理消息时，可以通过增加消费者的个数横向扩容，快速提高消费能力，及 时处理挤压的消息。 2. 消费队列负载算法与重平衡机制 那集群模式下，消费者是如何来分配消息的呢？ 例如上面实例中 order_topic 有 16 个队列，那一个拥有 3 个消费者的消费组如何来分 配队列中。 本文来自『中间件兴趣 队列同一时间只会分配给一个消费者。 RocketMQ 提供了众多的队列负载算法，其中最常用的两种平均分配算法。  AllocateMessageQueueAveragely  平均分配  AllocateMessageQueueAveragelyByCircle  轮流平均分配 为了说明这两种分配算法的分配规则，现在对 16 个队列，进行编号，用 q0~q15 表示， 消费者用 gely 分配算法的队列负载机制如下： c0：q0 q1 q2 q3 q4 q5 c1: q6 q7 q8 q9 q10 c2: q11 q12 q13 q14 q15 其算法的特点是用总数除以消费者个数，余数按消费者顺序分配给消费者，故 c0 会多 分配一个队列，而且队列分配是连续的。 AllocateMessageQueueAveragelyByCircle 分配算法的队列负载机制如下：

ter ， 处 理 本 地 事 物 逻 辑 返 回 处 理 的 事 物 状 态 LocalTransactionState 3) 二阶段，处理完本地事物中业务得到事物状态， 根据 offset 查找到 commitLog 中 的 prepared 消息，设置消息状态 commitType 或者 rollbackType ， 让后将信息添加到 commitLog 中， 其实二阶段生成了两条消息 方法向 producer 回查事物状态， 根据 group 随机选择一台 producer 查询消息，根据 commitLogOffset 和 msgSize 到 commitlog 查找消息 向 Producder 发起请求,请求 code 类型为 CHECK_TRANSACTION_STATE，producer 的 DefaultMQProducerImpl. chec 的所有消费端（有心跳向所有 broker 注册客户端信息） 选择队列分配策略实例 AllocateMessageQueueStrategy 执行分配算法,获取队列集合 Set mqSet 1） 平均分配算法，其实是类似于分页的算法 将所有 queue 排好序类似于记录 将所有消费端 consumer 排好序，相当于页数 然后获取当前 consumer 所在页面应该分配到的

张量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 2.3.5 张量算法的基本性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 2.3.6 降维 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.1 查找模块中的所有函数和类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.2 查找特定函数和类的用法 . . . . . . . . . . . . . . . . . . . . . . . . 5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.6 定义优化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.7 训练 . . . . .