如何从变量中获取数据并将其放入另一个

Question

我遇到了一点问题：我想拿这个数据，

for item in g_data:
    print item.contents[1].find_all("a", {"class":"a-link-normal s-access-detail-page a-text-normal"})[0]["href"]
    print item.contents[1].find_all("a", {"class":"a-link-normal s-access-detail-page a-text-normal"})[1]["href"]
    print item.contents[1].find_all("a", {"class":"a-link-normal s-access-detail-page a-text-normal"})[2]["href"]
    print item.contents[1].find_all("a", {"class":"a-link-normal s-access-detail-page a-text-normal"})[3]["href"]

并在另一个过程中使用结果。

代码当前打印出亚马逊搜索词首页的 urls，我想获取这些 urls，然后抓取页面上的数据。我该怎么做才能变成这样：

If for item in g_data returns url, taker url[1:15] and do 'x' with 它。

如果for item in g_data没有returnurl，说"No urls to work with"。

如果您能提供任何帮助或线索，我们将不胜感激，再次感谢。

Answer 1

如果你想获取g_data中的每个项目，找到项目中的所有url，如果有的话，对它们做x，如果项目中没有url，那么就打印一些东西，那么这应该有效：

def do_x(url):
    """ Does x with the given url. """
    short = url[1:15]
    # do x with short
    # ...

# process all items in g_data
for item in g_data:
    # find all links in the item
    links = item.contents[1].find_all("a", {"class":"a-link-normal s-access-detail-page a-text-normal"})

    if not links:
        # no links in this item -> skip
        print("No urls to work with.")
        continue

    # process all links
    for link in links:
        urls = link["href"]
        # process each url
        for url in urls:
            do_x(url)

这是你想要的吗？

如何从变量中获取数据并将其放入另一个

How to take data from variable and put it into another

python

web-scraping

beautifulsoup

screen-scraping