2021年07月 机器学习-线性代数回顾 黄海广 副教授 2 目录 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 3 1.行列式 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 4 (1) 设? = 05 矩阵的特征值和特征向量 04 线性方程组 7 ? × ?个数???排成?行?列的表格 ?11 ?12 ⋯ ?1? ?21 ?22 ⋯ ?2? ⋯ ⋯ ⋯ ⋯ ⋯ ??1 ??2 ⋯ ??? 称为矩阵， 简记为?，或者 ??? ?×? 。若? = ?，则称?是?阶矩阵或?阶方阵。 2.矩阵 矩阵 8 矩阵的线性运算 2.矩阵 1.矩阵的加法 设? = ( 矩阵的特征值和特征向量 04 线性方程组 15 3.向量 1.有关向量组的线性表示 (1) ?1, ?2, ⋯ , ??线性相关 ⇔至少有一个向量可以用其余向量线性表示。 (2) ?1, ?2, ⋯ , ??线性无关，?1, ?2, ⋯ , ??，?线性相关 ⇔ ?可以由?1, ?2, ⋯ , ??唯一线性表示。 (3) ?可以由?1, ?2, ⋯ , ??线性表示 ⇔ ?(?1, ?2

别、机场安检，甚至在北京天坛公园分发厕 纸、防止厕纸被盗，以及其他许多应用。 医疗 由于90％的医疗数据都是基于图像的，因此医 学中的计算机视觉有很多用途。比如启用新的 医疗诊断方法，分析X射线，乳房X光检查，监 测患者等。 13 深度学习入门-目标检测 目标检测结合了目标分 类和定位两个任务。 目标检测器的框架分为 one-stage(YOLO,YOLO9000,YOLOV3,YOLOV4 chi khai 喜 Ψ ψ psi psai 普西 Ω ω omega omiga 欧米 30 3. 深度学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 31 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， + 1 ?! ?? + ?(??) 2) ln(1 + ?) = ? − 1 2 ?2 + 1 3 ?3 − ⋯ + (−1)?−1?? ? + ?(??) 高等数学-泰勒公式 39 线性代数-行列式 设? = ??? ?×?，则：??1??1 + ??2??2 + ⋯ + ?????? = ቊ ? , ? = ? 0, ? ≠ ? 或?1??1? + ?2??2? + ⋯ +

大量离散特征、高维稀疏 • 特征关联性挖掘 CTR一般流程 业务目标与模型选择 Ø 模型优化目标 • 互动（转发/评论/赞） 点击（图片/视频/文章/链接等） 阅读时长 Ø 模型选择 • 线性模型LR+特征工程 • 多目标预估 • 排序基于pointwise的 learning to rank 互动模型 点击模型 阅读模型 Score = ?)*+,-./+ ∗ ???? + categorical特征 • 离散化/归一化处理 • conitnues特征 • one-hot 表示 • 假设检验方式 • 相关系数评估 • 特征组合 • GBDT+互信息——有效挖掘 非线性特征及组合 皮尔逊相关系数特征评估 标签匹配度特征相关系数特征评估 样本采集 Ø 存在问题 • 头部效应 • 实时反馈类收集与在线存在差异性 Ø 解决方案 • 正负样本比例严重失衡 业务排序 其他策略 特征工程 特征存储 特征查询 实时数据 自解释特征 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 为什么选择深度学习 Ø 线性CTR模型 • 优势：简单高效、可解释性强 • 局限性：特征工程繁琐、无法表达高维抽象特征 Ø 深度学习模型（DNN based model） • 优势： 泛化能力强 表达能力强 网络结构灵活

30:65-77, 2012. Visual-Inertial SLAM • 使用IMU数据提高鲁棒性 • 基于滤波的方法 • MSCKF, SLAM in Project Tango, … • 基于非线性优化的方法 • OKVIS, … • 没有真实IMU数据的情况下，是否能够通过视觉的方法 来模拟IMU数据? RKSLAM • 基于多单应矩阵的跟踪 • 全局单应矩阵 • 三维平面单应矩阵 • 直接图像跟踪或半稠密跟踪 • 朝实时稠密三维重建发展 • 单目实时三维重建 • 多目实时三维重建 • 基于深度相机的实时三维重建 • 多传感器融合 • 结合IMU、GPS、深度相机、光流计、里程计等 未来工作展望 • 协同SLAM • 稠密SLAM • 场景分析和理解 • 在VR/AR、机器人和无人驾驶领域 进行应用 Personal Homepage: http:www

调度，还可以实现对上层应用和软件的适配操作，同时保证云平台 性能高效稳定。硬件芯片方面，通过屏蔽底层芯片差异实现资源池 化，从而满足对各种芯片的统一调度，这不仅包含对飞腾、鲲鹏、 龙芯、海光等芯片兼容，还包含不同指令集架构的 CPU，以及除 CPU 以外的专有芯片的兼容，如 GPU、DPU 等。软件应用方面，一云多 芯能够适配各种操作系统、虚拟机、容器数据库、中间件等，同时 还能够 战略布局。在数字经济全球大势之下，云计算的战略意义被以美国 为首的主要国家提升至前所未有的高度，其战略内涵从增加机构运 行效率升至增加国家综合实力，成为“兵家必争之地”。未来，随着 全社会数字化速率的非线性抬升，云计算将经历一场自上而下的战 略深化，各国将持续释放云计算政策红利，海内外头部云厂商将从 前瞻性技术、应用能力、生态运化等多维度加速云计算全球化布局， 云计算市场将开启第二增长曲线。

机器学习-支持向量机 黄海广 副教授 2 本章目录 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 3 1.支持向量机概述 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 4 1.支持向量机概述 支 持 向 量 机 （ Support Vector learning）方式对数据进行二元分类的广义线性 分类器（generalized linear classifier），其决 策边界是对学习样本求解的最大边距超平面（ maximum-margin hyperplane） 。 与逻辑回归和神经网络相比，支持向量机，在学 习复杂的非线性方程时提供了一种更为清晰，更 加强大的方式。 支持向量 距离 5 1.支持向量机概述 硬间隔、软间隔和非线性 SVM 假如 假如数据是完全的线性可分的，那么学习到的模型可以称为硬间隔支持向 量机。换个说法，硬间隔指的就是完全分类准确，不能存在分类错误的情 况。软间隔，就是允许一定量的样本分类错误。 软间隔 硬间隔 线性可分 线性不可分 6 支持向量 1.支持向量机概述 算法思想 找到集合边缘上的若干数据（称为 支持向量（Support Vector）） ，用这些点找出一个平面（称为决 策面），使得支持向量到该平面的

............................................................................................... 1 线性代数 ................................................................................................ ′2(?)]3 2 ⁄ 17.曲率半径 曲线在点?处的曲率?(? ≠ 0)与曲线在点?处的曲率半径?有如下关系：? = 1 ? 机器学习的数学基础 9 线性代数 行列式 1.行列式按行（列）展开定理 (1) 设? = (???)?×?，则：??1??1 + ??2??2 + ⋯ + ?????? = { |?|,? = ? 0, ? ≠ ? ?21 ?22 ⋯ ?2? ⋯ ⋯ ⋯ ⋯ ⋯ ??1 ??2 ⋯ ???] 称为矩阵，简记为?， 或者(???)?×? 。若? = ?，则称?是?阶矩阵或?阶方阵。 矩阵的线性运算 1.矩阵的加法 设? = (???), ? = (???)是两个? × ?矩阵，则? × ? 矩阵? = (???) = ??? + ???称为矩阵?与? 的和，记为? + ? =

原文作者：Zico Kolter，修改：Chuong Do， Tengyu Ma 翻译：黄海广 备注：请关注github的更新，线性代数和概率论已经更新完毕。 CS229 机器学习课程复习材料-线性代数 CS229 机器学习课程复习材料-线性代数 线性代数复习和参考 1. 基础概念和符号 1.1 基本符号 2.矩阵乘法 2.1 向量-向量乘法 2.2 矩阵-向量乘法 2 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4.矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 线性代数复习和参考 1. 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组： 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 和 的唯一解（除非方程以某 种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一 解）。 在矩阵表示法中，我们可以更紧凑地表达： 我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。

48 2.2.3 转换为张量格式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 2.3 线性代数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 2.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 2.3.11 关于线性代数的更多信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 2.4 微积分 . . . . . . . . . . . . . . . . . . . . . . . . 82 3 线性神经网络 85 3.1 线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 3.1.1 线性回归的基本元素 . . . . . . . . . . . . . . . .

���� 7 1.5 线性回归预测������������������������������������������������������������������������������������������������������������������������������������������������������������� 9 1.5.1 线性回归过程 �������� ����������������������������������������������������������������������������������������� 9 1.5.2 线性回归代码演示 �������������������������������������������������������������������������������������������� 参见官方的开发文档。 1.5 线性回归预测 上一小节介绍了 Pytorch 框架各种基础操作，本节我们学习一 个堪称是深度学习版本的 Hello World 程序，帮助读者理解模 型训练与参数优化等基本概念，开始我们学习 Pytorch 框架编 程的愉快旅程。 1.5.1 线性回归过程 很坦诚的说，有很多资料把线性回归表述的很复杂、一堆公式 推导让初学者望而生畏，无法准确快速理解线性回归，这里作