案例：scrapy图片数据爬取之ImagesPipeline

1.需求：爬取站长素材中的高清图片（http://sc.chinaz.com/tupian/）

2.编码流程

• 创建和使用 Scrapy 工程：scrapy startproject imgPro

• 创建出爬虫文件：

  • cd myscrapy
  • scrapy genspider -t crawl imgspider www.xxx.com
    

• 数据解析（图片地址）

• 将存储图片地址的item提交到自定义的管道类

• 在管道文件中自定义一个继承于ImagesPipeline的管道类
  重写三个方法
  ​ get_media_request()
  ​ file_path()
  ​ item_completed()

• 在配置文件中：

  • 指定图片存储的目录：IMAGES_STORE = ‘./imgs’
  • 指定开启的管道：自定义的管道类

3.示例代码

• imgspider.py

import scrapy
from ..items import ImgproItem


class ImgspiderSpider(scrapy.Spider):
    name = 'imgspider'
    # allowed_domains = ['sc.chinaz.com/']
    start_urls = ['http://sc.chinaz.com/tupian/index.html']
    url = 'http://sc.chinaz.com/tupian/index_%d.html'
    page_num = 2
    def parse(self, response):
        item =</