在 Python 中使用 Scipy Hierarchy Clustering 进行文本聚类

我有一个文本语料库，其中包含 1000 多篇文章，每篇文章都在单独的行中。我正在尝试使用 python 中的 Scipy 进行层次聚类来生成相关文章的集群。 这是我用来进行聚类的代码

# Agglomerative Clustering
import matplotlib.pyplot as plt
import scipy.cluster.hierarchy as hac
tree = hac.linkage(X.toarray(), method="complete",metric="euclidean")
plt.clf()
hac.dendrogram(tree)
plt.show() 

and I got this plot

然后我用 fcluster() 砍掉了第三层的树

from scipy.cluster.hierarchy import fcluster
clustering = fcluster(tree,3,'maxclust')
print(clustering)

我得到了这个输出： [2 2 2 ..., 2 2 2]

我的问题是如何找到每个集群中最常见的 10 个单词，以便为每个集群建议主题？

您可以执行以下操作：

1. 调整你的结果（你的clustering变量）与您的输入（1000 多篇文章）。
2. 使用 pandas 库，您可以使用groupby function以簇 # 作为其键。
3. 每组（使用get_group function），填写一个defaultdict每个整数 你遇到的词。
4. 现在，您可以按降序对单词计数词典进行排序，并获得所需的最常见单词数量。

祝您所做的事情好运，如果这是您正在寻找的，请接受我的答案。