经过一段机器学习之后，发现实在是太枯燥了，为了增添一些趣味性以及熟练爬虫，在之后会不定时的爬取一些网站
旨在熟悉网页结构--尤其是HTML的元素,ajax存储，json；熟练使用pyspider,scrapy两大框架；掌握基本的requests库，re正则匹配，urllib库，Beautifulsoup，css,pyquery 选择器的使用，pandas库的辅助；mongodb,csv,xlsx的存储，redis分布式爬虫；简单的反爬技巧
本篇作为实战的第一篇，爬取了链家二手房的信息，一些思路借鉴了网上的框架结构，并非纯粹原创，特此声明，站在巨人的肩膀上眺望
该篇我自己实践学习到的、需要注意的内容如下
本项目实例的知识点有
1. format 和 迭代yield 的使用
2. 三大解析工具的使用 XPath, beautifulsoup,pquery
3.关于变签选取,beautifulsoup 的select 方法返回的是列表，需要格外注意, 且用select 来选择class 标签的时候，只取 空格前边，class 等号后边的，比如62行
4.如何将字典信息转化为pd.DataFrame
比如，dict={'a'：'1','b':'2','c':'3'}
直接使用data=pd.DataFrame(dict)则会报错：ValueError: If using all scalar values, you must pass an index
如何解决呢？比较好的方法介绍两种
第一种为：data=pd.DataFrame(dict,index=[0])
第二种为：pd.DataFrame(list(idct.items()) 代码位置117行
5.当有多个列表同时需要转化为dataframe 的时候，可以将所有的字典全部的存放到一个列表当中,随后直接用pd.dataframe
所对应的代码和注释如下：
class lianjiaspider(object):
def __init__(self):
self.home_url='http://bj.lianjia.com/'#链家首页的链接
self.auth_url='https://passport.lianjia.com/cas/login?service=http%3A%2F%2Fbj.lianjia.com%2F'#用户的登陆界面，登陆后为链家首页的界面
self.zaishou_url='https://su.lianjia.com/ershoufang/pg{}/'
self.headers=headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.8',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'Content-Type': 'application/x-www-form-urlencoded',
'Host': 'su.lianjia.com',
'Referer': 'https://su.lianjia.com/chengjiao/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36',
'Upgrade-Insecure-Requests': '1',
'X-Requested-With': 'XMLHttpRequest',
}
def main_url(self,page):#生成在售房屋每一页的URL
#r=requests.get(self.home_url)
#return r.text
for next_page in range(1,int(page)):
yield self.zaishou_url.format(next_page)#,可以用于迭代
def detail_sall_url(self):
user_num = input('请输入你想要的主页的页数：')
detail_url_list = []
for i in self.main_url(str(int(user_num)+1)):
try:
response=requests.get(i,headers=self.headers)
if response.status_code==200:#一定不能加引号啊，不然怎么都匹配不到的
html=response.text
soup=bp(html,'lxml')
detail_a_label=soup.select('.clear .noresultRecommend')#返回的是一个列表
for each_a_label in detail_a_label:
detail_url_list.append(each_a_label['href'])#获得标签，然后获取属性href ，并依次取出详情页的标签把他放在一个列表当中
except requests.ConnectionError as e:
print ('error:', e.args)
return detail_url_list
def parse_detail_url(self,detail_url_list):#用于解析详情页
info_concat=[]
for each_detail_url in detail_url_list:
response_detail=requests.get(each_detail_url)
if response_detail.status_code==200:
html_detail_url=response_detail.text
info={}#存为字典/json 形式
soup=bp(html_detail_url,'lxml')
info1=soup.select('.title .main')#获取含有标题的标签的列表
for j in info1:
info['出售房屋标题']=j.get_text()#获取标题
info2=soup.select('.price .total')#获取房屋价格
for p in info2:
info['总价']=p.string + '万'
info3 = soup.select('.unitPriceValue') # 获取房屋每平方均价
for unit_price in info3:
info['平方售价'] = unit_price.get_text()
info4 = soup.select('.room') # 获取厅室
for property in info4:
info['房屋属性'] = property.get_text()
info5 = soup.select('.area')
for areas in info5:
info['面积'] = areas.get_text()
info6 = soup.select('.type')
for areas in info6:
info['朝向'] = areas.get_text()
info_concat.append(info)
else:
print ('error:', requests.ConnectionError)
return info_concat
def save_to_xlsx(self,detail_url_list): #用于将数据存储到 excel 当中
pd.DataFrame(self.parse_detail_url(detail_url_list)).to_excel('链家二手房.xlsx', sheet_name='链家二手房信息')
def main():
lianjia=lianjiaspider()#实例化
detail_url_list=lianjia.detail_sall_url()
lianjia.save_to_xlsx(detail_url_list)
if __name__=='__main__':
main()
代码选取5页的内容爬取并存储结果如下
