爬取职位并且对职位进行词频数据分析(老板直聘)
修改爬取到的内容进行整理
刚开始的样子(其实比这个样子还要乱)
![在这里插入图片描述](https://img-blog.csdnimg.cn/a235cfd824404928be6f629d698a426d.png)
而我要的数据的样子应该是整齐的,所以我把职位描述往后的内容做了replace替换
replace('职位描述 ','')
#将职位描述往后的空格部分都替换成了空
然后就变的整齐了很多
![在这里插入图片描述](https://img-blog.csdnimg.cn/07b0e6677f95474987be0d925196b294.png)
只进行了替换以后的部分是这个样子,这里是excel的设置原因盛满屏幕了
![在这里插入图片描述](https://img-blog.csdnimg.cn/74cfcab4973445aca34ac05860346b76.png)
但只有职位介绍,没有职位名称也不行了,不然你也不知道属于那个职位啊,所以进行了后期的修改
![在这里插入图片描述](https://img-blog.csdnimg.cn/4aba5a35fd9447e1aa899e7697e7405f.png)
进行词频分析和统计
既然要进行词频分析,我们就会用到我们最熟悉的jieba库喽
#没有的先进性安装
pip install jieba
我对excel进行词频统计一般是我都是现将excel文件需要进行统计的某一列或者行写入txt文件,其实别的方法也可以,这里我就不多做介绍了
data=pd.read_excel('职位描述3.xlsx')
# data1=data['职位描述']
row = 0
with open("LAD1.txt", "w",encoding="utf-8") as f:
#写入你要保存的文件位置即可
for row in range(len(data)):
column_str = str(data.iloc[row].at['职位描述']+"\n")
#写入要保存的列的名称进行拼接,其中的换行符可依据自身的需求进行相应的修改
f.write(column_str)
print("已保存txt" )
f.close()
#将excel文件转为txt文件,然后进行词频分析
fileobj = open('LAD1.txt', 'r', encoding='utf-8')
txt=fileobj.read()
#print(txt)
fileobj.close()
#切词
words=jieba.lcut(txt) #l是list,切完之后的结果是一个列表
#print(words)
words_dict={} #用于存储词及词语出现的次数
for word in words:
if len(word)==1: #说明构不成语语
continue #如果不是词就进行下一轮循环
else:
if word in words_dict:
words_dict[word]+=1 #如果词在字典中存在,次数累加1
else:
words_dict[word]=1 #如果在字典中不存在,说明是第一次出现,次数赋值为1
words_dict_sort=sorted(words_dict.items(),key=lambda x:x[1] ,reverse=True)
# print(words_dict_sort)
df=pd.DataFrame(words_dict_sort,columns=['词','次数'])
df.to_excel('词频.xlsx',index=False) #将词频保存到xlsx文件
最后成功如下
![在这里插入图片描述](https://img-blog.csdnimg.cn/8483918fe88f48c7a65011be0b02fa4e.png)