python入门--抓取网页文字

2023-11-15

要抓取网页文字,我们需要使用Python的一个库,叫做requests。这个库可以帮助我们向网站发送请求,获取网站的内容。

下面是一个简单的示例代码,用于抓取一个网页的文字:

import requests
import re
import os
import io
import sys
import bs4
from bs4 import BeautifulSoup

url = 'https://baijiahao.baidu.com/s?id=1774337207764266892';
response = requests.get(url);
soup=BeautifulSoup(response.text);
textNew=soup.get_text();
text_nospace=textNew.replace('\n','');
d="[\u4e00-\u9fa5]+";
L=[];
for i in text_nospace:
	I=re.findall(d,i)
	L+=I
textPrint="";
for k in L:
 textPrint+=str(k)
print(textPrint);








这个代码将会发送一个GET请求给网站,然后获取网站的内容并存储在变量text中。最后,我们将打印出这个内容。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

python入门--抓取网页文字 的相关文章

随机推荐