我目前正在使用 PhantomJS 和 CasperJS 来抓取网站中的链接。该网站使用 JavaScript 动态加载结果。然而,下面的代码片段并没有让我获得页面包含的所有结果。我需要的是向下滚动到页面底部,查看微调器是否显示(意味着还有更多内容),等待新内容加载,然后继续滚动,直到不再显示新内容。然后存储带有类名的链接.title
在一个数组中。链接到webpage http://example.com/用于刮擦。
var casper = require('casper').create();
var urls = [];
function tryAndScroll(casper) {
casper.waitFor(function() {
this.page.scrollPosition = { top: this.page.scrollPosition["top"] + 4000, left: 0 };
return true;
}, function() {
var info = this.getElementInfo('.badge-post-grid-load-more');
if (info["visible"] == true) {
this.waitWhileVisible('.badge-post-grid-load-more', function () {
this.emit('results.loaded');
}, function () {
this.echo('next results not loaded');
}, 5000);
}
}, function() {
this.echo("Scrolling failed. Sorry.").exit();
}, 500);
}
casper.on('results.loaded', function () {
tryAndScroll(this);
});
casper.start('http://example.com/', function() {
this.waitUntilVisible('.title', function() {
tryAndScroll(this);
});
});
casper.then(function() {
casper.each(this.getElementsInfo('.title'), function(casper, element, j) {
var url = element["attributes"]["href"];
urls.push(url);
});
});
casper.run(function() {
this.echo(urls.length + ' links found:');
this.echo(urls.join('\n')).exit();
});
我看过页面了。您的误解可能是您认为.badge-post-grid-load-more
一旦加载下一个元素,该元素就会消失。不是这种情况。它根本没有改变。你必须找到另一种方法来测试新元素是否被放入 DOM 中。
例如,您可以检索当前的元素数量并使用waitFor
检测数字何时发生变化。
function getNumberOfItems(casper) {
return casper.getElementsInfo(".listview .badge-grid-item").length;
}
function tryAndScroll(casper) {
casper.page.scrollPosition = { top: casper.page.scrollPosition["top"] + 4000, left: 0 };
var info = casper.getElementInfo('.badge-post-grid-load-more');
if (info.visible) {
var curItems = getNumberOfItems(casper);
casper.waitFor(function check(){
return curItems != getNumberOfItems(casper);
}, function then(){
tryAndScroll(this);
}, function onTimeout(){
this.echo("Timout reached");
}, 20000);
} else {
casper.echo("no more items");
}
}
我也精简了tryAndScroll
一点。有完全不必要的功能:第一个casper.waitFor
根本没有等待,因此onTimeout
永远无法调用回调。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)