sklearn聚类之—KMeans

                                        sklearn聚类之—KMeans

未标记的数据的Clustering(聚类)，可以是使用模块sklearn.cluster来实现

每个clustering algorithm（聚类算法）有两个变体：一个是class，他实现了fit的方法来学习训练数据的cluster，还有一个函数，是给定训练数据，返回与不同的cluster对应的证书标签数据，对于class，training data 上的标签可以在labels_属性中找到。

输入数据

需要注意的一点是，该模块中实现的算法可以采用不同种类的 matrix （矩阵）作为输入。所有这些都接受 shape [n_samples, n_features] 的标准数据矩阵。 这些可以从以下的 sklearn.feature_extraction模块的 classes （类）中获得。对于 AffinityPropagation, SpectralClustering 和 DBSCAN 也可以输入 shape [n_samples, n_samples] 的相似矩阵。这些可以从 sklearn.metrics.pairwise 模块中的函数获得。

1.理论

  kMeans算法通过试图分离n个相同方差组样本来聚集数据，minimizing(最小化)称为inertia或者within-cluster-sum-of-squares(簇内平方和)的criterion(标准)。该算法需要制定number of clusters(簇的数量)，他可以很好的扩展到大量样本并且已经被广泛引用于很多不同的领用的应用领域。

该算法是将一组N样本X划分成K不相交的簇C，每个都用cluster中的样本的均值描述，这个means(均值)通常被称为cluster(簇)的质心（centroids）,注意，它们一般不是从X中挑选出来的点，虽然他们是出于同一个空间（算法初始化点的时候是在同一个范围内的随机取K个点）。kmeans算法旨在选择最小化inertia或者簇内平方和的标准的质心

Inertia（惯性）, 或 the within-cluster sum of squares（簇内和平方差） criterion（标准）,可以被认为是 internally coherent clusters （内部相干聚类）的 measure （度量）。 它有各种缺点:

• 对细长的簇或者不规则形状的分类不佳
• 在高维度空间中会出现膨胀。需要降为来减轻该问题（计算距离是通过欧几里得来计算的）

K-means 通常被称为 Lloyd’s algorithm（劳埃德算法）。在基本术语中，算法有三个步骤。、 第一步是选择 initial centroids （初始质心），最基本的方法是从  数据集中选择  个样本。初始化完成后，K-means 由两个其他步骤之间的循环组成。 第一步将每个样本分配到其 nearest centroid （最近的质心）。第二步通过取分配给每个先前质心的所有样本的平均值来创建新的质心。计算旧的和新的质心之间的差异，并且算法重复这些最后的两个步骤，直到该值小于阈值。换句话说，算法重复这个步骤，直到质心不再显著移动。

给定足够的时间，K-means 将总是收敛的，但这可能是 local minimum （局部最小）的。这很大程度上取决于 initialization of the centroids （质心的初始化）。 因此，通常会进行几次 different initializations of the centroids （初始化不同质心）的计算。帮助解决这个问题的一种方法是 k-means++ 初始化方案，它已经在 scikit-learn 中实现（使用 init='k-means++' 参数）。 这将初始化 centroids （质心）（通常）彼此远离，导致比随机初始化更好的结果。

2.用法

sklearn.cluster.KMeans

from sklearn.cluster import KMeans
import numpy as np
X = np.array([[1, 2], [1, 4], [1, 0],
              [4, 2], [4, 4], [4, 0]])
kmeans = KMeans(n_clusters=2, random_state=0).fit(X)
kmeans.labels_

kmeans.predict([[0, 0], [4, 4]])

kmeans.cluster_centers_

  常用方法