机器学习课程-温州大学-Scikit-learn

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

Scikit-learn是基于NumPy、SciPy和Matplotlib的开源Python机器学习包，封装了一系列数据预处理、机器学习算法、模型选择等工具。它支持包括分类、回归、降维和聚类四大机器学习算法，还包括了特征提取、数据处理和模型评估三大模块。文档介绍了Scikit-learn的主要用法，包括监督学习算法（如逻辑回归、支持向量机、随机森林、AdaBoost等）和无监督学习算法（如KMeans聚类、层次聚类、谱聚类等）。此外，还详细讲解了降维算法（如PCA）和集成学习方法。

AI总结

### 文档总结

#### 1. Scikit-learn概述
- **Scikit-learn** 是基于 NumPy、SciPy 和 Matplotlib 的开源 Python 机器学习库，封装了数据预处理、机器学习算法和模型评估等工具。
- 支持四大机器学习算法：
- 分类
- 回归
- 降维
- 聚类
- 包含三大功能模块：
- 特征提取
- 数据处理
- 模型评估

#### 2. Scikit-learn主要用法
- **无监督学习算法**：
- **聚类**：支持 DBSCAN、层次聚类和谱聚类。

    from sklearn.cluster import KMeans
    kmeans = KMeans(n_clusters=3, random_state=0)
    kmeans.fit(X_train)
    kmeans.predict(X_test)

- **降维**：使用 PCA（主成分分析）进行特征降维。

    from sklearn.decomposition import PCA
    pca = PCA(n_components=3)
    pca.fit(X)
    print(pca.explained_variance_ratio_)
    print(pca.explained_variance_)

- **监督学习算法**：
- **分类**：支持逻辑回归、支持向量机（SVM）、朴素贝叶斯和 K 近邻。
- **回归**：支持线性回归、随机森林回归等。

- **集成学习**：
- 使用 `sklearn.ensemble` 模块实现集成学习方法，如随机森林、AdaBoost 和梯度提升。

    from sklearn.ensemble import RandomForestClassifier
    clf = RandomForestClassifier(n_estimators=20)
    clf.fit(X_train, y_train)
    y_pred = clf.predict(X_test)
    y_prob = clf.predict_proba(X_test)

#### 3. Scikit-learn案例
- **PCA 应用**：
- 使用 PCA 进行降维，输出主成分的方差比例和方差值。

    print(pca.explained_variance_ratio_)  # 主成分的方差比例
    print(pca.explained_variance_)       # 主成分的方差

总结：Scikit-learn 是一个功能强大的机器学习库，支持多种算法和模块，适用于分类、回归、降维和聚类等任务，并提供了丰富的工具和案例支持。