获取 Instagram 关注者

Question

我想用 BeautifulSoup 解析网站的关注者数量。这是我目前所拥有的：

username_extract = 'lazada_my'

url = 'https://www.instagram.com/'+ username_extract
r = requests.get(url)
soup = BeautifulSoup(r.content,'lxml')
f = soup.find('head', attrs={'class':'count'})

这是我要解析的部分：

我的 soup.find() 函数中有些地方是错误的，但我无法理解它。返回 f 时为空。知道我做错了什么吗？

Answer 1

我想你可以使用 re 模块来搜索正确的计数。

import requests
import re

username_extract = 'lazada_my'

url = 'https://www.instagram.com/'+ username_extract
r = requests.get(url)
m = re.search(r'"followed_by":\{"count":([0-9]+)\}', str(r.content))
print(m.group(1))

Answer 2

你必须寻找scripts，然后寻找其中的'window._sharedData'出口。如果退出则执行正则表达式操作。

import re

username_extract = 'lazada_my'
url = 'https://www.instagram.com/'+ username_extract
r = requests.get(url)
soup = BeautifulSoup(r.content,'lxml')
s = re.compile(r'"followed_by":{"count":\d*}')
for i in soup.find_all('script'):
     if 'window._sharedData' in str(i):
         print s.search(str(i.contents)).group()

结果,

"followed_by":{"count":407426}

Answer 3

大部分内容是用JS动态生成的。这就是您得到空结果的原因。

但是，页面源中存在 followers 计数。唯一的问题是，它不能直接以您想要的形式提供。你可以在这里看到它：

<meta content="407.4k Followers, 27 Following, 2,740 Posts - See Instagram photos and videos from Lazada Malaysia (@lazada_my)" name="description" />

如果你想在没有正则表达式的情况下抓取关注者计数，你可以使用这个：

>>> followers = soup.find('meta', {'name': 'description'})['content']
>>> followers
'407.4k Followers, 27 Following, 2,740 Posts - See Instagram photos and videos from Lazada Malaysia (@lazada_my)'
>>> followers_count = followers.split('Followers')[0]
>>> followers_count
'407.4k '

Answer 4

soup.find('head', attrs={'class':'count'}) 搜索看起来像 <head class="count"> 的内容，但在 HTML 中不存在。您要查找的数据包含在以 window._sharedData:

开头的 <script> 标记中

script = soup.find('script', text=lambda t: t.startswith('window._sharedData'))

从那里，您可以去掉变量赋值和分号以获得有效 JSON:

# <script>window._sharedData = ...;</script>
#                              ^^^
#                              JSON

page_json = script.text.split(' = ', 1)[1].rstrip(';')

解析它，你需要的一切都包含在对象中：

import json

data = json.loads(page_json)
follower_count = data['entry_data']['ProfilePage'][0]['user']['followed_by']['count']

Answer 5

谢谢大家，我最终使用了威廉的解决方案。如果有人有未来的项目，这里是我的完整代码，用于为他们的关注者数量抓取一堆 URL：

import requests
import csv 
import pandas as pd
import re

insta = pd.read_csv('Instagram.csv')

username = []

bad_urls = [] 

for lines in insta['Instagram'][0:250]:
    lines = lines.split("/")
    username.append(lines[3])

with open('insta_output.csv', 'w') as csvfile:
t = csv.writer(csvfile, delimiter=',')     #   ----> COMMA Seperated
for user in username:
   try:
       url = 'https://www.instagram.com/'+ user
       r = requests.get(url)
       m = re.search(r'"followed_by":\{"count":([0-9]+)\}', str(r.content))
       num_followers = m.group(1)
       t.writerow([user,num_followers])    #  ----> Adding Rows
   except:
       bad_urls.append(url)

获取 Instagram 关注者

Get instagram followers

python

screen-scraping

beautifulsoup

instagram