已将GitHub scrapy-redis库升级,使其兼容最新版本Scrapy

2023-05-16

1.代码升级

之前的问题:

随着Scrapy库的流行,scrapy-redis作为使用redis支持分布式爬取的工具,也不断的被大家发现。

但是,使用过程中你会发现的问题是由于scrapy-redis是基于较老版本的Scrapy,所以当你使用的是新版本的Scrapy时,不可避免的会出现警告,甚至错误。

关于这个问题,我总结之后在scrapy-redis库中提了出来并开了issue和作者做了讨论,在确定思路后,就着手进行代码升级。

解决:

花了一段时间修改后向原代码库提交的pull request,作者已经merge了。地址:https://github.com/darkrho/scrapy-redis

其它:

如果你在使用中发现了什么问题,如果是和兼容性升级相关的,还请给我发个邮件或是直接在github上开个issue。

2.关于Travis CI

也是在参与这个项目中,才开始了解它。经常在README中发现的build图标表明的就是使用Travis CI进行构建后的状态。

Travis CI,为开源社区提供的云端持续集成服务。其作用就是在云端构建并反馈构建状态。只需在相应的代码库配置中安装Travis的hook并在库的根目录下配置.travis.yml文件。具体的可参见doc。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

已将GitHub scrapy-redis库升级,使其兼容最新版本Scrapy 的相关文章

随机推荐