出现(see DUPEFILTER_DEBUG to show all duplicates)的原因 在爬虫出现了重复的链接,重复的请求。解决方法: 在request添加dont_filter=True