Node.js 抓取数据点击事件

Question

我有一项必须定期完成的重复性任务。基本上，我需要进入网站，从不同的 table 中获取一些值，然后将它们写入电子表格。通过使用这些值，进行一些计算，准备一份报告等

我想创建一个助手机器人，因为这是一项直接的任务。我基本上可以通过打开控制台（当我在相关页面上时）和使用 DOM 或 Jquery 来获取信息，我很容易获取数据。

我想更进一步，在 Node.js 上创建一个应用程序（不进入相关网站，我会将我的机器人发送到相关页面并执行与在控制台上执行的操作相同的操作。）我开始用 cheerio 写东西。但是，有时我的机器人需要单击一个按钮（以更改 table）。我寻找但找不到路。

我的问题是 "clicking a button on server side (change the table) and fetch data from that table is possible ?"

如果你知道更好的创建这种bot的方法，请提出建议。

var express = require('express');
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app     = express();

app.get('/scrape', (req, res) => {

url = 'http://www.imdb.com/title/tt1229340/';

request(url, function(error, response, html){
    if(!error){
        var $ = cheerio.load(html);

    var title, release;
    var json = { title : "", release : ""};

    $('.header').filter(() => {
        var data = $(this);
        title = data.children().first().text();            
        release = data.children().last().children().text();

        json.title = title;
        json.release = release;
    })

    // This is not possible
    $( "#target" ).click(function() {
      alert( "Handler for .click() called." );
    });
}

fs.writeFile('output.json', JSON.stringify(json, null, 4), (err) => {
    console.log('File successfully written!);
})

res.send('Check your console!')

    }) ;
})
app.listen('8080');

编辑： 这个问题的答案是“Use Zombie”

现在我有另一个与此相关的问题。我正在尝试学习和使用僵尸。我可以

连接到网站
转到必要的 table
打印控制台所有 tds

然而，通过使用这种方法，我只能得到非常混乱的字符串。（所有的 tds 都打印出来，没有任何空格，没有机会清除，基本上我想把所有的 tds 放在一个数组中。我该怎么做？）

browser.visit(url, () => {
        var result = browser.text('table > tbody.bodyName td');
        console.log(result);
})

Answer 1

为此，我建议您尝试使用 Phantom.js or Zombie 等无头浏览器。您在上面尝试做的是将点击处理程序分配给 Cheerio 中的元素，这是行不通的！

您应该能够单击基于元素 select 或 Zombie.js 中的按钮。

Zombie.js 中有一个 browser.pressButton 命令用于此目的。

下面是一些使用 zombie.js 的示例代码，在本例中单击 link..

const Browser = require('zombie');
const url = 'http://www.imdb.com/title/tt1229340/';

let browser = new Browser();
browser.visit(url).then(() => {
    console.log(`Visited ${url}..`);
    browser.clickLink("FULL CAST AND CREW").then(() => {
        console.log('Clicked link..');
        browser.dump();
    });
}).catch(error => {
    console.error(`Error occurred visiting ${url}`);
});

至于问题的下一部分，我们可以使用 zombie.js select 个元素并获取其文本内容的数组：

const Browser = require('zombie');
const url = 'http://www.imdb.com/title/tt1229340/';

let browser = new Browser();
browser.visit(url).then(() => {
    console.log(`Visited ${url}..`);
    var result = browser.queryAll('.cast_list td');
    var cellTextArray = result.map(r => r.textContent.trim())
    .filter(text => text && (text || '').length > 3);

    console.log(cellTextArray);
}).catch(error => {
    console.error(`Error occurred visiting ${url}`);
});

Node.js 抓取数据点击事件

Node.js Scraping Data Click Event

javascript

bots

node.js

scrape