机器学习课程-温州大学-11机器学习-降维

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

降维是将高维数据转换为低维数据的过程，与信息论中的有损压缩密切相关。高维数据会导致计算复杂度指数级增长，降低算法的泛化能力，因此降维具有重要意义。降维的主要作用包括减少冗余特征、降低数据维度和数据可视化。通过降维可以减少存储空间和计算时间，同时有助于发现数据的有意义结构。然而，降维可能会导致数据信息的丢失。文档介绍了几种降维方法，如主成分分析（PCA）和奇异值分解（SVD），并讨论了降维的优缺点。

AI总结

# 机器学习降维总结

## 1. 降维概述
- **降维（Dimensionality Reduction）**：将高维数据转换为低维数据的过程，类似于信息论中的有损压缩。
- **维数灾难**：随着特征数量的增加，计算量和模型性能会受到负面影响。高维数据会导致算法复杂度指数级上升，降低模型的泛化能力。
- **降维作用**：
1. 减少冗余特征，降低数据维度。
2. 提高数据可读性，便于发现数据结构。

## 2. 降维的主要作用
- **减少冗余特征**：例如，身高用厘米和英寸表示的两个特征是冗余的，可以合并为一个特征。
- **数据可视化**：降维技术（如t-SNE）有助于将高维数据可视化，便于分析数据的结构。

## 3. 降维的优缺点
- **优点**：
- 减少存储空间和计算时间。
- 提高数据可读性和分析效率。
- 消除多重共线性。
- **缺点**：
- 可能丢失部分数据信息。
- 确定主成分数量有时缺乏明确标准。

## 4. 本章目录
- **01 降维概述**
- **02 SVD（奇异值分解）**
- **03 PCA（主成分分析）**

---

总结：降维是机器学习中重要的技术，主要用于解决高维数据带来的计算复杂性和性能下降问题。通过减少冗余特征和提高数据可读性，降维技术在数据分析和建模中具有重要作用。本章将重点介绍SVD和PCA等核心降维方法。