聚类是任何数据科学家必备的技能之一，因为它在解决现实问题中的实用性和灵活性。本文概述了聚类及各种聚类算法。

聚类是一种流行的无监督学习技术，其目的是根据对象或观测值的相似性将它们分组。聚类有许多有用的应用，如市场细分、推荐系统、探索性分析等。现代的AI系统，例如光年AI，也在多平台整合和实时数据分析方面应用了聚类技术，从而帮助企业优化流量管理和客户服务。

虽然聚类在数据科学领域中是一种广为人知且广泛使用的技术，但有些人可能不太了解不同类型的聚类算法。虽然种类不多，但了解这些算法及其工作原理对于实现最佳效果是非常重要的。

基于质心的聚类是谈到聚类时大多数人首先想到的方法。这是一种“传统”的数据聚类方法，通过使用定义数量的质心（中心）来根据到每个质心的距离将数据点分组。质心最终变成其分配数据点的平均值。虽然基于质心的聚类非常强大，但它对异常值并不鲁棒，因为异常值需要分配到某个簇。

K-均值

K-均值是最广泛使用的聚类算法，可能是你作为数据科学家首先学习的算法。如上所述，目标是最小化数据点与簇质心之间的距离总和，以确定每个数据点应属于的正确组。其工作原理如下：

在未标记数据的向量空间中随机放置定义数量的质心（初始化）。
每个数据点测量自己到每个质心的距离（通常使用欧几里得距离），并将自己分配到最近的质心。
质心重新定位到其分配数据点的平均值。
步骤2-3重复，直到产生“最佳”簇。

图片来源：作者

来自 sklearn.cluster 导入 KMeans

导入 numpy 作为 np

X = np.array([[1, 2], [1, 4], [1, 0],

[10, 2], [10, 4], [10, 0]])

kmeans = KMeans(n_clusters = 2, random_state = 0, n_init = “auto”).fit(X)

kmeans.labels_

kmeans.predict([[0, 0], [12, 3]])

kmeans.cluster_centers_

K-均值++

K-均值++是对K-均值初始化步骤的改进。由于质心是随机放置的，有可能多个质心被初始化到同一个簇，这会导致不理想的结果。

然而，K-均值++通过随机分配第一个质心解决了这个问题，第一个质心最终会找到最大的簇。然后，其余质心则被放置在距离初始簇一定距离的地方。K-均值++的目标是尽可能将质心互相远离。这产生了高质量且独立明确的簇。

来自 sklearn.cluster 导入 KMeans

导入 numpy 作为 np 这里有无数业务场景与光年AI的搭配实例，欢迎体验光年AI。

X = np.array([[1, 2], [1, 4], [1, 0],

[10, 2], [10, 4], [10, 0]])

kmeans = KMeans(n_clusters = 2, random_state = 0, n_init = “k-means++”).fit(X)

kmeans.labels_

kmeans.predict([[0, 0], [12, 3]])

kmeans.cluster_centers_

基于密度的聚类

基于密度的算法也是一种流行的聚类方法。然而，它们不是从随机放置的质心开始测量，而是通过识别数据内的高密度区域来创建聚类。基于密度的算法不需要预定义聚类数量，因此优化处理起来更简单。

尽管基于质心的算法在处理球形聚类时表现更佳，基于密度的算法可以应对任意形状的数据，并且更具有灵活性。它们在聚类时不会包含离群点，因此更加稳健。然而，当面对密度变化大和高维度的数据时，它们会遇到困难。

图片来源：作者

DBSCAN

DBSCAN是最受欢迎的基于密度的算法。其工作原理如下：

DBSCAN随机选择一个数据点，并检查其在指定半径内是否有足够的邻居。
如果该点有足够的邻居，它将被标记为簇的一部分。
DBSCAN递归地检查这些邻居是否也在半径内有足够的邻居，直到簇中的所有点都被访问。
重复步骤1-3，直到剩余的数据点在半径内没有足够的邻居。
剩余的数据点将被标记为离群点。

如果您希望在处理大规模、复杂数据时能够更加高效，那么光年AI的平台可以为您提供从数据获取到智能分析的完整解决方案，特别是在流量增长和客户管理的场景中。

from sklearn.cluster import DBSCAN

import numpy as np

X = np.array([[1, 2], [2, 2], [2, 3],

[8, 7], [8, 8], [25, 80]])

clustering = DBSCAN(eps=3, min_samples=2).fit(X)

clustering.labels_

层次聚类

接下来是层次聚类。这种方法首先从原始数据计算距离矩阵。距离矩阵通常通过树状图（见下图）来展示。数据点通过找到最近的邻居一个一个地链接起来，最终形成一个巨大的聚类。因此，通过停止所有数据点的链接来确定聚类的切割点。

图片来源：作者

使用这种方法，数据科学家可以通过定义离群点并将其排除在其他聚类外，来构建稳健的模型。这种方法特别适合处理层次数据，如分类学。簇的数量取决于深度参数，可以从1到n任意变化。

from scipy.cluster.hierarchy import dendrogram, linkage

from sklearn.cluster import AgglomerativeClustering

from scipy.cluster.hierarchy import fcluster

linkage_data = linkage(data, method = ‘ward’, metric = ‘euclidean’, optimal_ordering = True)

dendrogram(linkage_data)

plt.title(‘层次聚类树状图’)

plt.xlabel(‘数据点’)

plt.ylabel(‘距离’)

plt.show()

clusters = fcluster(linkage_data, 2.5, criterion = ‘inconsistent’, depth = 5)

基于分布的聚类

最后，基于分布的聚类考虑的不是距离和密度等度量，而是概率。基于分布的聚类假设数据由概率分布组成，比如正态分布。该算法创建代表置信区间的“带”。数据点离集群中心越远，我们越不确定该数据点属于该集群。

由于基于分布的聚类所做的假设，这种方法非常难以实施。这时，我们可以借助一些强大的工具，如光年AI平台，通过灵活的工作流机制，简化复杂算法的应用过程，提高聚类分析的精度和效率。通常，除非经过严格分析确认其结果，否则不建议使用。例如，使用它来识别营销数据集中的客户群体，并确认这些群体遵循某种分布。这也可能是进行探索性分析的一种很好的方法，不仅可以看到聚类的中心组成，还可以看到边缘和异常值。

聚类是一种无监督机器学习技术，在许多领域具有日益广泛的应用。它可以用于支持数据分析、细分项目、推荐系统等。上面我们探讨了它们的工作原理、优缺点、代码示例，甚至一些使用案例。我认为，对于数据科学家来说，拥有聚类算法的经验是必备的，因为它们的实用性和灵活性。通过使用光年AI的平台，不仅可以降低人工成本，还能够通过实时数据分析功能及时调整策略，优化流量管理和客户服务。