机器学习-线性代数回顾 黄海广 副教授 2021年07月 ## 目录 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 1. 行列式 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 1. 行列式 ### 1. 行列式按行（列）展开定理 \lambda_{i}(i=1,2\cdots,n) $ 是A的n个特征值，则 $ |A|=\prod_{i=1}^{n}\lambda_{i} $ ### 2. 矩阵 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 2. 矩阵 矩阵 $ m \times n $ 个数 $ a_{ij} $ 排成m行n列的表格 $ \left[\begin{array}{cccc} \end{array}\right] $ 称为矩阵， 简记为A，或者 $ \left(a_{ij}\right)_{m\times n} $ 。若m=n，则称A是n阶矩阵或n阶方阵。 ### 2. 矩阵 ## 矩阵的线性运算 ### 1. 矩阵的加法 设 $ A=(a_{ij}),B=(b_{ij}) $ 是两个 $ m\times n $ 矩阵，则 $ m\times n $ 矩阵 $ C=(c_{ij})=a_{ij}+b_{ij}

维数灾难(Curse of Dimensionality)：通常是指在涉及到向量的计算的问题中，随着维数的增加，计算量呈指数倍增长的一种现象。 在很多机器学习问题中，训练集中的每条数据经常伴随着上千、甚至上万个特征。要处理这所有的特征的话，不仅会让训练非常缓慢，还会极大增加搜寻良好解决方案的困难。这个问题就是我们常说的维数灾难。 是将训练数据中的样本(实例)从高维空间转换到 要明白的，不存在完全无损的降维。 有很多种算法可以完成对原始数据的降维，在这些方法中，降维是通过对原始数据的线性变换实现的。 ### 1. 降维概述 ## 为什么要降维 • 高维数据增加了运算的难度 - 高维使得学习算法的泛化能力变弱（例如，在最近邻分类器中，样本复杂度随着维度成指数增长），维度越高，算法的搜索难度和成本就越大。 - 降维能够增加数据的可读性，利于发掘数据的有意义的结构 ###

229机器学习课程的基础材料，原始文件下载 原文作者：Zico Kolter，修改：Chuong Do，Tengyu Ma 翻译：黄海广 备注：请关注github的更新，线性代数和概率论已经更新完毕。 ## CS229 机器学习课程复习材料-线性代数 CS229 机器学习课程复习材料-线性代数 线性代数复习和参考 1. 基础概念和符号 1.1 基本符号 2. 矩阵乘法 2 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3. 运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4. 矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 ## 线性代数复习和参考 ### 1. 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。例如，以下方程组：

# APISEVEN 和 Kong EE 的性能评测 -- GigaOm 高性能API管理测试 产品评估：API7和Kong企业版  1 - 摘要3 API76 图1. API7技术架构7 Kong 企业版7 3-GigaOm API负载测试设置9 环境清单10 软件版本信息11 4-测试结果12 图2. 空转时的压力测试 API 的基线延迟12 图3. API7与Kong EE在20,000 rps时的对比13 图4. API7与Kong EE在10,000 rps时的JWT对比。13 图5. API7与Kong EE在10,000 rps时的1,000条路由的对比14 5-结论15 6-附录16 7-关于GigaOm19 本报告重点介绍了部署在云上的API管理平台。云让企业通过微服务快速地构建差异和创新，在几分钟内就能完成API节点的克隆和扩展。与本地部署相比，云有良好的扩展性，能更快地进行服务器部署和应用程序开发，且能降低计算成本的开销。 更重要的是，许多组织也依赖API和微服务来实现高性能和可用性。在本文中，我们将“高性能”定义为每秒负载超过1000个交易且在整个API环境中最大延迟小于30毫秒。对公司而言，对性能的需求和对管

## 阿里云 ## Apache Flink的过去、现在和未来 杨克特（鲁尼） 阿里巴巴高级技术专家 ## 过去 ## 一 切从2014年开始  StratoSphere Above the Clouds  2009 - 2014 2014 • 柏林工业大学博士生项目 - 基于流式 runtime 的批处理引擎 • 2014 年 8 月份 发布 Flink 0.6.0 ## 阿里云 2019阿里云峰会·上海开发者大会 Flink 0.7 ## 2014 年 12 月份 发布 – 开始正式支持 3421/p6_1.jpg) - 吞吐和延迟不再是一个 tradeoff - 支持精准一次的语义，同时对性能的影响较低 ## 阿里云 2019阿里云峰会·上海开发者大会 Flink 1.0 版本基石 ## Checkpoint 基于 Chandy-Lamport 算法，实现了分布式一致性快照，提供了一致性的语义。 ## State 丰富的 State API。 ValueState

你不是一个人在战斗！ haiguang2000@qq.com 最后修改：2018-04-19 ## 目录 机器学习的数学基础.....1 高等数学.....1 线性代数.....9 概率论和数理统计.....19 ## 机器学习的数学基础 ## 高等数学 ### 1. 导数定义： 导数和微分的概念 $$ f^{\prime}(x_{0})=\lim_{\Delta x\to0}\frac{f(x_{0}+\Delta f^{\prime}(x_{0})=\lim_{x\to x_{0}}\frac{f(x)-f(x_{0})}{x-x_{0}} $$ ### 2. 左右导数导数的几何意义和物理意义 函数 $ f(x) $ 在 $ x_{0} $ 处的左、右导数分别定义为： $$ f^{\prime}_{-}(x_{0})=\lim_{\Delta x\to0^{-}}\frac{f(x_{0}+\Delta x)-f(x_{0})}{\Delta Delta x)-f(x_{0})}{\Delta x}=\lim_{x\to x_{0}^{+}}\frac{f(x)-f(x_{0})}{x-x_{0}} $$ ### 3. 函数的可导性与连续性之间的关系 Th1：函数 $ f(x) $ 在 $ x_{0} $ 处可微 $ \Leftrightarrow f(x) $ 在 $ x_{0} $ 处可导。 Th2: 若函数在点 $ x_{0}

## Web的未来 ## 新技术和新语言带来的改变 韩国恺 hanguokai@gmail.com 开发者9Y⁺ 技术爱好者 Google fans 学习 动漫、电影 健身 DART 韩国恺 上网 @hanguokai  与 Dart 的缘分 ## The Future NEXT EXIT 大纲 1. Web的演化 2. 语言篇 a. 语言的发展 b. Dart 介绍 3. 技术篇 a. Web Components b. Polymer 库 ## Web应用的优点 • 无需安装 • 增量式开发 - 自动升级 跨平台 - 天然的MVC (HTML+CSS+JavaScript) (HTML+CSS+JavaScript) ## 当前的Web开发 - Web 开发越来越复杂: 项目大, 团队成员多 ● 前端功能越来越多:CS→BS→CS - 大型应用维护和协作难 ● 性能弱，启动速度慢 工具支持弱 • 仔细选择技术方案和开发规范 ## Web 开发中还有许多问题有待解决 ![Image](/uploads/documents/a/5/6/e/a56e4b8c0bb7aab9cbc4b262460031fb/p7_1

Open Ta//k 公开课 # Traefik 在又拍云的应用和改造 陈卓 又拍云系统开发工程师 又拍云 ## 分享内容 - Traefik 简介 - Traefik 跟 Ingress-Nginx 比较 - 我们为什么使用 Traefik - Traefik 改造之路 ## Traefik 简介 ## traffic  英 [ˈtræfɪk] ☐ 美 [ˈtræfɪk] ☐ n. 路上行驶的车辆；交通；(沿固定路线的)航行，行驶，飞行；运输；人流；货流 v. 用…作交换；在…通行；交易；买卖 ![Image](/uploads/documents/f/9/0/1/f90122a57c68994c8b21a3253d82c47e/p3_2 |Redis|KV|KV| |ZooKeeper|KV|KV| ## I ngress-Nginx 介绍 • Ingress-Nginx: K8S 官方的 Http 网关产品 • Ingress 配置：指的是 K8S 的 Ingress 的 configmap Ingress 配置 ![Image](/uploads/documents/f/9/0/1/f90122a57c68994c8b21a3253d82c47e/p8_1

1.4 索引和切片 45 2.1.5 节省内存 46 2.1.6 转换为其他Python对象 47 2.2 数据预处理 47 2.2.1 读取数据集 48 2.2.2 处理缺失值 48 2.2.3 转换为张量格式 49 2.3 线性代数 50 2.3.1 标量 50 2.3.2 向量 51 2.3.3 矩阵 52 3.5 张量算法的基本性质 54 2.3.6 降维 56 2.3.7 点积（Dot Product） 58 2.3.8 矩阵-向量积 ..... 59 2.3.9 矩阵-矩阵乘法 ..... 59 2.3.10 范数 ..... 60 2.3.11 关于线性代数的更多信息 ..... 62 2.4 微积分 ..... 63 2.4.1 导数和微分 ..... 69 2.5.1 一个简单的例子 ..... 70 2.5.2 非标量变量的反向传播 ..... 71 2.5.3 分离计算 ..... 71 2.5.4 Python控制流的梯度计算 ..... 72 2.6 概率 ..... 73 2.6.1 基本概率论 ..... 74 2.6.2 处理多个随机变量 ..... 77 2.6.3 期望和方差 ..... 80 2

01 相关概念 02 特征构建 03 特征提取 04 特征选择 ### 1. 相关概念 特征工程相关概念 定义 是把原始数据转变为模型的训练数据的过程 目的 获取更好的训练数据特征，使得机器学习模型逼近这个上限 作用 使模型的性能得到提升 构成 特征构建 特征提取 特征选择 ### 1. 相关概念 ## 数据决定一切 准确率  通过这张图可以看出，各种不同算法在输入的数据量达到一定级数后，都有相近的高准确度。于是诞生了机器学习界的名言： 成功的机器学习应用不是拥有最好的算法，而是拥有最多的数据！ ### 1. 相关概念 ## 特征提取VS特征选择

项目	特征 colspan="2">都从原始特征中找出最有效的特征都能帮助减少特征的维度、数据冗余
区别	➢ 强调通过特征转换的方式得到一组具有明显物理或统计意义的特征➢ 有时能发现更有意义的特征属性	➢ 从特征集合中挑选一组具有明显物理或统计意义的特征子集➢ 能表示出每个特征对于模型构建的重要性