网络抓取 returns 一个空列表

Question

 import requests
 from bs4 import BeautifulSoup

 result = requests.get('https://www.indeed.com/?vjk=5bc59746be36d8d0')
 source = result.content
 soup = BeautifulSoup(source, "lxml")

 job_titles = soup.find_all("a", {"class": "jcs-JobTitle"})

 print(job_titles)

这里的问题是打印 job_titles returns 一个空列表而不是网站中的职位

请帮我解决这个问题，我们将不胜感激

Answer 1

当我第一次访问您请求的 URL 时，我看到了一个没有列出任何职位的搜索页面。只有在我提交搜索后，页面才会填充结果。当我再次返回原来的 URL 时，页面仍然填充（可能有缓存的结果）。当您从 requests.

获取页面时，空白页面可能就是您返回的内容

尝试使用完整的 URL 以及浏览器在搜索后将您转到的参数。例如，URL https://www.indeed.com/jobs?q=data%20engineer&l=Raleigh%2C%20NC&vjk=b971ec43674ab50e 返回 15 个职位链接。

网络抓取 returns 一个空列表

web scraping returns an empty list

python

beautifulsoup

web-scraping