我使用 Nightmare.js 构建了一个简单的节点脚本来抓取网站
var Nightmare = require('nightmare');
var vo = require('vo');
vo(run)(function(err, result) {
if (err) throw err;
});
function *run() {
var x = Date.now();
var nightmare = Nightmare();
var html = yield nightmare
.goto('http://google.com')
.evaluate(function() {
return document.getElementsByTagName('html')[0].innerHTML;
});
console.log("done in " + (Date.now()-x) + "ms");
console.log("result", html);
yield nightmare.end();
}
我想在使用旧版本节点的环境中运行它,该版本不支持 ES6 功能。 github 页面上没有关于如何在没有“yield”关键字的情况下执行此操作的示例。
我确实在这里找到了一个没有 ES6 语法的用法示例:噩梦般的网页抓取 https://azurelogic.com/posts/web-scraping-with-nightmare-js/
我是这样写的:
var night = new Nightmare()
.goto('http://www.google.com')
.evaluate(function () {
return document.getElementsByTagName('html')[0].innerHTML;
},function (html) {
console.log("result", html);
}
)
.run(function (err, nightmare) {
if (err) return console.log(err);
console.log('Done!');
});
它不会崩溃,但结果记录函数永远不会被调用。
使用yield语法,从“evaluate”获取返回值非常简单,但是没有它,我没有找到任何方法来做到这一点。
UPDATE感谢已接受的答案及其评论而写下此文。它使用“Q”并适用于 0.12 之前的节点版本:
var Nightmare = require('nightmare');
var Promise = require('q').Promise;
var x = Date.now();
var nightmare = Nightmare();
Promise.resolve(nightmare
.goto('http://google.com')
.evaluate(function() {
return document.getElementsByTagName('html')[0].innerHTML;
})).then(function(html) {
console.log("done in " + (Date.now()-x) + "ms");
console.log("result", html);
return nightmare.end();
}).then(function(result) {
}, function(err) {
console.error(err); // notice that `throw`ing in here doesn't work
});