Lecture 7: K-Means

• 语言: 英语
• 格式: .pdf
• 来源: funglee.github.io

摘要

本文档主要讲解了K-Means聚类方法，是一种常用的无监督学习算法。其目标是将数据集分成K个簇，使得簇内平方和最小。K-Means算法通过迭代优化，包括重新计算簇中心和重新分配点到簇的过程，最终收敛到局部最优解。文档还讨论了该算法的局限性，如对簇形状和大小的敏感性，并引入了核K-Means和层次聚类作为改进方法。

AI总结

《Lecture 7: K-Means》文档总结

一、聚类简介
聚类是将数据按相似性分组的任务，K-Means是一种经典算法，广泛应用于无监督学习中。

二、K-Means方法
1. 目标：将数据划分为K组，确每组内平方和最小。
- 最小化∑∥x-μi∥²，μi为组均值。
2. 迭代步骤：
- 初始质心随机选取。
- 分配点（将点分配至最近质心）。
- 重计算质心（更新质心为新组均值）。
3. 收敛性：L(t) = L(μ(t-1), X, Z(t))非增，直至稳定。

三、优化问题
- K-Means问题NP难，常用启发式算法如K-means和高斯混合模型解决。
- K值选择：使用AIC标准，选择最小AIC的K，避免过大K。

四、扩展算法
- 核K-Means：处理非凸集群，通过映射数据至高维核空间。
- 层次聚类：以树状图展示层次结构，便于可视化。

五、局限与对策
- 硬分配，无概率柔性分配。
- 效果依赖集群大小和形状，集群不均或非凸则表现差。
- 解决方案：使用高斯混合模型、谱聚类等方法。

该总结涵盖了K-Means的核心原理、优化问题及局限，结构清晰，突出重点。