爬虫入门级（五）

Python爬虫入门级（五）

实现两个小案例：
1> 爬取豆瓣电影的TOP250
2> 爬取电影的资源下载地址

爬取豆瓣电影的TOP250

1、分页爬取数据
2、csv数据加载到本地

####抓取豆瓣电影排行

#1、判断页面元代满是否有数据
#2、有数据之后通过re获取页面源代码，通过正则获取到我们需要的数据

import requests,re,csv

f = open("C:\\Users\\Desktop\\tmp\\data.csv",mode="w")
csvw = csv.writer(f)

# https://movie.douban.com/top250?start=25&filter=
for n in ['0','25','50','75','100']:

    url = "https://movie.douban.com/top250?start="+n+"&filter="
    ##反扒策略之一
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"
    }
    resq = requests.get(url,headers=headers)
    page_content = resq.text

    #解析数据
    obj = re.compile(r'<li>.*?<div class="item">.*? <span class="title">(?P<name>.*?)'
                    r'</span>.*?<p class="">.*?<br>(?P<year>.*?)&nbsp.*?'
                    r'<span class="rating_num" property="v:average">(?P<score>.*?)</span>.*?'
                    r'<span>(?P<num>.*?)</span>',re.S)
 

    #开始匹配
    result = obj.finditer(page_content)
    for i in result :
        # print(i.group("name"))
        # print(i.group("score"))
        # print(i.group("num"))
        # print(i.group("year").strip() )
        dic = i.groupdict()
        dic['year'] = dic['year'].strip()
        print(dic.values())
        csvw.writerow(dic.values())

##关闭访问
resq.close()

爬取电影的资源下载地址

1、跳转子链接爬取数据
2、使用Dataframe 查看数据，并加载到本地

#### 电影天堂
##  1、定位到2021必看片
##  2、从必看片找到连接
##  3、请求子页面的连接地址，并获取下载地址
import requests,re
#创建指定列的Dataframe
df = pd.DataFrame(columns=('mov_name', 'load_url'))

url = "https://dytt89.com/"
resq = requests.get(url,verify=False)
resq.encoding = "gb2312" ## 从页面源代码中获取页面编码格式
## 正则表达式
obj1 = re.compile(r"2021必看热片.*<ul>(?P<ul>.*?)</ul>",re.S)  ##匹配必看电影表达式
obj2 = re.compile(r"<a href='(?P<href>.*?)'",re.S)  ##匹配子链接表达式
obj3 = re.compile(r'◎片　　名(?P<mov_name>.*?)<br />.*?<td '
                  r'style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(?P<load_url>.*?)">',re.S)  ##电影详细信息内容
##拿出数据
result1 = obj1.finditer(resq.text)
##创建数组，用作存储子链接
child_href_list = []
for i in result1:
    ul = i.group('ul')
    ###提取子链接
    result2 = obj2.finditer(ul)
    for j in result2:
        # 拼接处完整地址
        print(url.strip("/") + j.group('href'))
        child_href_list.append(url.strip("/") + j.group('href'))

##提取子链接
for child_href in child_href_list:
    child_resq = requests.get(child_href,verify=False)
    child_resq.encoding = "gb2312"
    result3 = obj3.finditer(child_resq.text)
    for a in result3:
        # print(a.group('mov_name')+"\t"+a.group('load_url'))
        df = df.append([{'mov_name':a.group('mov_name'),'load_url':a.group('load_url')}], ignore_index=True)

##关闭访问
resq.close()
df.to_csv("C:\\Users\\Desktop\\tmp\\movie_load_url.csv")