Node puppeteer 抓取 YouTube 并遇到重定向你太多次

Question

我正在尝试使用 Node / puppeteer 抓取 YouTube 播放列表 URL。它工作正常，但现在我收到 ERR_TOO_MANY_REDIRECTS 错误。我仍然可以从我的桌面使用 chrome 访问该页面。

我试过使用 chromium 浏览器和 chrome 浏览器。我也尝试过使用 puppeteer-extra stealth 插件和 random-useragent。

目前我的代码是这样的：

const browser = await puppeteer.launch({
      stealth: true,
      headless: false // true,
      executablePath: "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe",
      args: [
          '--disable-notifications', '--disable-features=site-per-process'
      ],
      defaultViewport: null
        });
      const page = await browser.newPage()
      await page.setUserAgent(random_useragent.getRandom());
      await page.goto(<playlist-url, {
        waitUntil: 'networkidle2',
        timeout: 0
      })


     await page.waitForSelector('button[aria-label="Agree to the use of cookies and other data for the purposes described"')

它在 page.goto 轰炸。即使我尝试去 https://www.youtube.com.

也会发生这种情况

关于我接下来应该尝试的任何建议。我尝试了代理服务器，但无法正常工作。我怀疑我需要代理才能实际路由。

Answer 1

如果您只需要给定频道的播放列表 ID，可以在以下位置查询供稿：

https://youtube.com/feeds/videos.xml?channel_id=<Channel ID>

要获取视频的 ID，您可以在以下位置查询供稿：

https://youtube.com/feeds/videos.xml?playlist_id=PLAYLIST_ID

Node puppeteer 抓取 YouTube 并遇到重定向你太多次

Node puppeteer scraping YouTube and encountering redirected you too many times

youtube

node.js

web-scraping

puppeteer