计算 Pandas 数据框中的不同单词数

我有一个 Pandas 数据框，其中一列包含文本。我想获得整个列中出现的唯一单词的列表（空格是唯一的分割）。

import pandas as pd

r1=['My nickname is ft.jgt','Someone is going to my place']

df=pd.DataFrame(r1,columns=['text'])

输出应如下所示：

['my','nickname','is','ft.jgt','someone','going','to','place']

进行计数也没什么坏处，但这不是必需的。

Use a set创建独特元素的序列。

做一些清理工作df获取小写字符串并拆分：

df['text'].str.lower().str.split()
Out[43]: 
0             [my, nickname, is, ft.jgt]
1    [someone, is, going, to, my, place]

此列中的每个列表都可以传递到set.update函数来获取唯一值。使用apply http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.apply.html这样做：

results = set()
df['text'].str.lower().str.split().apply(results.update)
print(results)

set(['someone', 'ft.jgt', 'my', 'is', 'to', 'going', 'place', 'nickname'])

或者与使用Counter()来自评论：

from collections import Counter
results = Counter()
df['text'].str.lower().str.split().apply(results.update)
print(results)