这里写目录标题
- 一.xpath的使用
- 二.selenium爬取京东商品信息
- 三.scrapy的架构
-
- 四.scrapy的简单使用
一.xpath的使用
1 css xpath 通用的
2 XPath 使用路径表达式在 XML 文档中选取节点
3 lxml模块为例,讲xpath选择(selenium,scrapy---》css/xpath)
4 用法:
二.selenium爬取京东商品信息
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
def get_goods(bro):
bro.execute_script('scroll(0,document.body.scrollHeight)')
li_list = bro.find_elements_by_class_name('gl-item')
for li in li_list:
try:
img_url = li.find_element_by_css_selector('.p-img>a>img').get_attribute('src')
if not img_url:
img_url = li.find_element_by_css_selector('.p-img>a>img').get_attribute('data-lazy-img')
img_url = 'https:' + img_url
name = li.find_element_by_css_selector('.p-name em').text
url = li.find_element_by_css_selector('.p-img>a').get_attribute('href')
price = li.find_element_by_css_selector('.p-price i').text
commit = li.find_element_by_css_selector('.p-commit a').text
print('''
商品名称:%s
商品价格:%s
商品链接:%s
图片链接:%s
商品评论数:%s
''' % (name, price, url, img_url, commit))
except Exception as e:
continue
next = bro.find_element_by_partial_link_text('下一页')
next.click()
get_goods(bro)
bro = webdriver.Chrome(executable_path='chromedriver.exe')
try:
bro.get('https://www.jd.com/')
bro.implicitly_wait(10)
search_in = bro.find_element_by_id('key')
search_in.send_keys('男士内衣')
search_in.send_keys(Keys.ENTER)
get_goods(bro)
except Exception as e:
print(e)
finally:
bro.close()
三.scrapy的架构
0 框架---》别人帮我们写了好多代码,我们只需要再固定的位置写固定的代码
1 爬虫界的django---》好多东西用起来跟django很像
2 pip3 install scrapy (依赖)
-win平台:
1、pip3 install wheel
3、pip3 install lxml
4、pip3 install pyopenssl(装这个装不上:更新pip,搜方案)
5、下载并安装pywin32:https://github.com/mhammond/pywin32/releases
6、下载twisted的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/
7、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl
8、pip3 install scrapy
3 win平台有些模块不好装
-pip3 install wheel
-http://www.lfd.uci.edu/~gohlke/pythonlibs 下载相应的wheel文件
-pip3 install 把下载后的whl拖入即可(注意python,win版本)
4 只要装完:scrapy 命令
-django创建项目:djangoadmin startproject 项目名(pycharm也可以直接创建)
-scrapy创建项目:scrapy startproject 项目名
-使用pycharm打开
-django中创建app :python manage.py startapp app名字
-scrapy创建爬虫: scrapy genspider 爬虫名 爬虫的地址
5 scrapy总结
-pip3 install scrapy
-scrapy startproject 项目名
-scrapy genspider 爬虫名 爬虫的地址
3.1scrapy的架构
1 爬虫:SPIDERS
-刚刚创建的一个个爬虫(py文件,以后主要再这写)
2 引擎EGINE
-大总管,负责各个组件的沟通(写代码不涉及到),
-引擎负责控制系统所有组件之间的数据流,并在某些动作发生时触发事件
3 pipline持久化
-爬完数据解析完,入库(py文件,存数据库,存文件,存redis,在这写)
-在items被提取后负责处理它们,主要包括清理、验证、持久化(比如存到数据库)等操作
4 调度器
-调度谁先被爬取,谁后爬取(通过配置来操作)
-用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
5 下载器
-真正取爬取数据的(写代码也不涉及)
1 爬虫中间件,介于爬虫和引擎之间,可以写多个(一般不写)
2 下载中间件,介于下载器和引擎之间,可以写多个(写的多)
3.2目录介绍
myfirstscrapy
myfirstscrapy
spiders
__init__.py
chouti.py
baidu.py
cnblogs.py
settings.py
items.py
middlewares.py
pipelines.py
scrapy.cfg
四.scrapy的简单使用
1 运行爬虫
scrapy scrawl 爬虫名 打印运行日志
scrapy crawl cnblogs --nolog 不打印日志
2 记住的
-解析(def parse(self, response))
-css
-xpath
-解析
'''
xpath
选择文本 /text()
选择属性 /@href
css
选择文本 ::text
选择属性 ::attr(href)
# extract_first取一个
# extract() 取所有(列表形式)
'''
-在解析的函数中yeild Request对象,这个地址又会去发请求
-yield Request(url=url,callback=self.parser_detail)
-不写默认用yield Request(url=url,callback=self.parser)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)