haiguang2000@qq.com 数学基础笔记（V1.01） 最后修改：2018-04-19 你不是一个人在战斗！ I 目录 机器学习的数学基础 .............................................................................................. ................. 1 高等数学 ........................................................................................................................... 1 线性代数 ......................................... ............................................................ 19 机器学习的数学基础 1 机器学习的数学基础 高等数学 1.导数定义： 导数和微分的概念 ?′(?0) = lim ??→0 ?(?0+??)−?(?0) ?? （1） 或者：?′(?0) =

2021年07月 机器学习-高等数学回顾 黄海广 副教授 2 高等数学 1.导数定义： 导数和微分的概念 ?′(?0) = lim ??→0 ?(?0+??)−?(?0) ?? （1） 或者：?′(?0) = lim ?→?0 ?(?)−?(?0) ?−?0 （2） 3 高等数学 2.左右导数导数的几何意义和物理意义 函数?(?)在?0处的左、右导数分别定义为： 左导数： (?)−?(?0) ?−?0 4 高等数学 3.函数的可导性与连续性之间的关系 Th1: 函数?(?)在?0处可微⇔ ?(?)在?0处可导。 Th2:若函数在点?0处可导，则? = ?(?)在点?0处连续，反之则不成立。即函数连续不一定可 导。 Th3:?′(?0)存在⇔ ?′−(?0) = ?′+(?0) 5 高等数学 4.平面曲线的切线和法线 切线方程 : ? − ?0 = 0) ≠ 0 6 高等数学 5.四则运算法则 设函数? = ?(?)，? = ?(?)在点?可导，则： (1) ? ± ? ′ = ?′ ± ?′ (2) (??)′ = ??′ + ??′ ?(??) = ??? + ??? (3) ( ? ?)′ = ??′−??′ ?2 (? ≠ 0) ?( ? ?) = ???−??? ?2 7 高等数学 6.基本导数与微分表

本文是斯坦福大学CS229机器学习课程的基础材料，原始文件下载 原文作者：Arian Maleki ， Tom Do 翻译：石振宇 审核和修改制作：黄海广 备注：请关注github的更新。 CS229 机器学习课程复习材料-概率论 CS229 机器学习课程复习材料-概率论 概率论复习和参考 1. 概率的基本要素 1.1 条件概率和独立性 2. 随机变量 2.1 累积分布函数 6 一些常见的随机变量 3. 两个随机变量 3.1 联合分布和边缘分布 3.2 联合概率和边缘概率质量函数 3.3 联合概率和边缘概率密度函数 3.4 条件概率分布 3.5 贝叶斯定理 3.6 独立性 3.7 期望和协方差 4. 多个随机变量 4.1 基本性质 4.2 随机向量 4.3 多元高斯分布 5. 其他资源 概率论复习和参考 概率论是对不确定性的研究。通过这 概率论是对不确定性的研究。通过这门课，我们将依靠概率论中的概念来推导机器学习算法。这篇笔记 试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测 度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。 1. 概率的基本要素 为了定义集合上的概率，我们需要一些基本元素， 样本空间 ：随机实验的所有结果的集合。在这里，每个结果 可以被认为是实验结束时现

本文是斯坦福大学CS 229机器学习课程的基础材料，原始文件下载 原文作者：Zico Kolter，修改：Chuong Do， Tengyu Ma 翻译：黄海广 备注：请关注github的更新，线性代数和概率论已经更新完毕。 CS229 机器学习课程复习材料-线性代数 CS229 机器学习课程复习材料-线性代数 线性代数复习和参考 1. 基础概念和符号 1.1 基本符号 2 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4.矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组： 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 和 的唯一解（除非方程以某 种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一 解）。 在矩阵表示法中，我们可以更紧凑地表达： 我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。 1.1 基本符号

• アーキテクチャ図 • 仕様及び記述言語 (SDL) • Ditaa • ガントチャート • マインドマップ • WBS 図 (作業分解図) • AsciiMath や JLaTeXMath による、数学的記法 • ER 図 各ダイアグラムは、シンプルで直感的に書くことができます。 1 シーケンス図 1 シーケンス図 1.1 基本的な例 シーケンス -> を、2 つの分 つの分類子間のメッセージを描画するために使います。分類子を、明示的に宣言 する必要はありません。 点線の矢印を使う場合は、--> とします。 また、<- や <-- を使うこともできます。これらによって図の見た目が変わることはありませんが、可 読性を高めることができます。ただし、以上の方法はシーケンス図だけに当てはまります。ほかの種 類の図には当てはまりません。 @startuml Alice -> 398 1.7 矢印の色を替える 1 シーケンス図 Bob o\\-- Alice Bob <-> Alice Bob <->o Alice @enduml 1.7 矢印の色を替える 以下の表記を使って、個々の矢印の色を変えることができます。 @startuml Bob -[#red]> Alice : hello Alice -[#0000FF]->Bob : ok @enduml 1

アーキテクチャ図 • 仕様及び記述言語 (SDL) • Ditaa • ガントチャート • AsciiMath や JLaTeXMath による、数学的記法 各ダイアグラムは、シンプルで直感的に書くことができます。 1 シーケンス図 1 シーケンス図 1.1 基本的な例 シーケンス -> を、2 つの分類子間のメッセージを描画するために使います。分類子を、明示的に宣言 する必要はありません。 //-- Alice Bob ->o Alice Bob o\\-- Alice Bob <-> Alice Bob <->o Alice @enduml 1.6 矢印の色を替える 以下の表記を使って、個々の矢印の色を変えることができます。 @startuml Bob -[#red]> Alice : hello Alice -[#0000FF]->Bob : ok @enduml 1 end note @enduml PlantUML 言語リファレンスガイド (1.2019.3) 11 / 159 1.15 境界線 1 シーケンス図 1.15 境界線 == を使って、図を論理的なステップに分けることも出来ます。 @startuml == Initialization == Alice -> Bob: Authentication Request Bob --> Alice:

アーキテクチャ図 • 仕様及び記述言語 (SDL) • Ditaa • ガントチャート • AsciiMath や JLaTeXMath による、数学的記法 各ダイアグラムは、シンプルで直感的に書くことができます。 1 シーケンス図 1 シーケンス図 1.1 基本的な例 シーケンス -> を、2 つの分類子間のメッセージを描画するために使います。分類子を、明示的に宣言 する必要はありません。 //-- Alice Bob ->o Alice Bob o\\-- Alice Bob <-> Alice Bob <->o Alice @enduml 1.6 矢印の色を替える 以下の表記を使って、個々の矢印の色を変えることができます。 @startuml Bob -[#red]> Alice : hello Alice -[#0000FF]->Bob : ok @enduml 1 end note @enduml PlantUML 言語リファレンスガイド (1.2019.2) 11 / 159 1.15 境界線 1 シーケンス図 1.15 境界線 == を使って、図を論理的なステップに分けることも出来ます。 @startuml == Initialization == Alice -> Bob: Authentication Request Bob --> Alice:

アーキテクチャ図 • 仕様及び記述言語 (SDL) • Ditaa • ガントチャート • AsciiMath や JLaTeXMath による、数学的記法 各ダイアグラムは、シンプルで直感的に書くことができます。 1 シーケンス図 1 シーケンス図 1.1 基本的な例 シーケンス -> を、2 つの分類子間のメッセージを描画するために使います。分類子を、明示的に宣言 する必要はありません。 //-- Alice Bob ->o Alice Bob o\\-- Alice Bob <-> Alice Bob <->o Alice @enduml 1.6 矢印の色を替える 以下の表記を使って、個々の矢印の色を変えることができます。 @startuml Bob -[#red]> Alice : hello Alice -[#0000FF]->Bob : ok @enduml 1 Bob This is hosted by end note @enduml 1.15 境界線 == を使って、図を論理的なステップに分けることも出来ます。 @startuml == Initialization == Alice -> Bob: Authentication Request Bob --> Alice:

• アーキテクチャ図 • 仕様及び記述言語 (SDL) • Ditaa • ガントチャート • マインドマップ • WBS 図 (作業分解図) • AsciiMath や JLaTeXMath による、数学的記法 • ER 図 各ダイアグラムは、シンプルで直感的に書くことができます。 1 シーケンス図 1 シーケンス図 1.1 基本的な例 シーケンス -> を、2 つの分 つの分類子間のメッセージを描画するために使います。分類子を、明示的に宣言 する必要はありません。 点線の矢印を使う場合は、--> とします。 また、<- や <-- を使うこともできます。これらによって図の見た目が変わることはありませんが、可 読性を高めることができます。ただし、以上の方法はシーケンス図だけに当てはまります。ほかの種 類の図には当てはまりません。 @startuml Alice -> 392 1.7 矢印の色を替える 1 シーケンス図 Bob o\\-- Alice Bob <-> Alice Bob <->o Alice @enduml 1.7 矢印の色を替える 以下の表記を使って、個々の矢印の色を変えることができます。 @startuml Bob -[#red]> Alice : hello Alice -[#0000FF]->Bob : ok @enduml 1