cheerio：无法选择 meta 属性

Question

我想从 html 元标记中提取一些元数据。 fetched html.

中存在以下元标记

<meta property="og:type" content="offer"/>
<meta property="og:title" content='خانه ذرت با کورن داگ لذیذ و خوشمزه  در تهران' />

我编写了以下示例代码以从元标记中获取 og:type 和 og:title 属性的内容：

var request = require('request');
var cheerio = require('cheerio');

var a='http://someurl/';
getDealInfo(a);


function getDealInfo(url){
    var options = {
        url: encodeURI(url),
        headers: {
            'Accept' : '*/*',
            'Cache-Control':'no-cache',
        }
    };
    request(options, function(error, response, html){
        if (!error && response.statusCode == 200) {
            var $ = cheerio.load(html);
            var title = $('meta[property="og:title"]').attr('content');
            console.log('title: ' + title);
            var type = $('meta[property="og:type"]').attr('content');
            console.log('type: ' + type);
        }else console.log('Error accessing Deal:' + response.statusCode + '\n'+error);
    });
}

我得到 正确的内容 用于 og:type 和 undefined 用于 og:title ，尽管这两个属性都存在于获取的 html.

谁能帮我弄清楚为什么我无法获取 og:title 属性内容？

Answer 1

我注意到 html 响应没有元数据 og:title

您可以使用以下方式查看：

request(options, function(error, response, html){
    fs.writeFile('./index.html', html)
})

但您可以使用 needle https://www.npmjs.com/package/needle 包代替 request

var needle = require('needle')
var results = []
needle.get(encodeURI(url), function(err, res) {
    if (err) throw err
    var $ = cheerio.load(res.body)
    var title = $('meta[property="og:title"]').attr('content')
    results.push({
        title: title
    })
    fs.writeFile('./data.json', JSON.stringify(results))
})

输出 data.json 文件 og:title 内容：

[
    {
        "title": "خانه ذرت با کورن داگ لذیذ و خوشمزه  در تهران"
    }
]

cheerio：无法选择 meta 属性

cheerio: trouble selecting meta property

node.js

web-scraping

meta

cheerio