深度学习基础10

深度学习基础10

前面几篇文章写了监督学习的一些算法，包括支持向量机，神经网络算法，线性回归，非线性回归等，这篇文章和后面几篇写一下非监督学习的一些算法，首先来写一下聚类（Clustering）算法。
首先来看一下非监督学习聚类中一个非常经典的算法：K-means算法，首先来回归一下基本概念
1.归类：
聚类（clustering）属于非监督学习（unsupervised learning)
无类别标记（class label）
比如有以下数据：

以上图表示一些肿瘤数据，我们想根据数据之间的关系自动划分为若干类，我们不知道每个点的标签是什么，这就是非监督性学习聚类。
2.K-means算法
2.1 Clustering中的经典算法，数据挖掘十大经典算法之一
2.2 算法接受参数 k（要分为几类） ；然后将事先输入的n个数据对象划分为k个聚类以便使得所获得的聚类满足：聚类中的对象相似度较高，而不同聚类中的对象相似度较小
2.3 算法思想：
以空间中k个点为中心进行聚类，对最靠近他们的对象归类，通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的结果
2.4 算法描述：
（1）适当选择c个类的初始中心
（2）在第k次迭代找哪个，对任意一个样本，求其到c各中心的距离，将该样本归到距离最短的中心所在的类
（3）利用均值等方法更新该类的中心值
（4）对于所有的c个聚类中心，如果利用（2）（3）的迭代法更新后，值保持不变，则迭代结束，否则继续迭代
流程图表示如下：

来看一个具体的例子怎么计算：

有以上四个点，我们把它们画到超平面上

假设我们将以上数据分为2类，初始中心点为A：（1,1）和B：（2.1）
现在开始进行k-means聚类算法：

上面矩阵表示每个点到中心点的距离
第一次计算后可以归类如下：

更新中心点：


如上图为更新后中心点之后的平面图
继续计算：
计算每个点到两个中心点的距离

二次归类后：

B点的归类发生了变化
更新中心点：

更新后的平面分布图如下:

继续计算：

三次归类后：

发现归类与上一次没有发生变化，所以算法结束

3.K-means算法优缺点：
优点：速度快，简单
缺点：最终结果跟初始点选择相关，容易陷入局部最优，需要知道k值

基本理论知识就这些吧，下一篇文章写一下如何用Python实现这个算法