我有两个清单。列表 A 包含 500 个单词。列表 B 包含 10000 个单词。我正在尝试为列表 A 找到与 B 相关的相似单词。我正在使用 Spacy 的相似函数。
我面临的问题是计算需要很长时间。我是多处理使用的新手,因此请求帮助。
如何通过Python中的多处理来加速for循环部分的执行?
以下是我的代码。
ListA =['Dell', 'GPU',......] #500 words lists
ListB = ['Docker','Ec2'.......] #10000 words lists
s_words = []
for token1 in ListB:
list_to_sort = []
for token2 in ListA:
list_to_sort.append((token1, token2,nlp(str(token1)).similarity(nlp(str(token2)))))
sorted_list = sorted(list_to_sort, key = itemgetter(2), reverse=True)[0][:2]
s_words.append(sorted_list)
您可以使用多重处理 https://docs.python.org/2/library/multiprocessing.html包裹。我希望这会大大减少您的时间。看here https://github.com/explosion/spaCy/issues/1572获取示例代码。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)