使用 PRAW 获得超过 100 个搜索结果？

Question

我正在使用以下代码通过 PRAW 4.4.0 获取 reddit 搜索结果：

params = {'sort':'new', 'time_filter':'year'}
return reddit.subreddit(subreddit).search('', **params)

我想从 subreddit 中无限量地收集帖子，最多一年。 Reddit 的搜索功能（以及相应的 API）通过 'after' 参数实现了这一点。但是，上述搜索功能不接受 'after' 作为参数。有没有办法使用PRAW的.search()获取100多个搜索结果？

Answer 1

是的，通过发送参数 limit=None 会将其增加到 1000，但不能保证任何时间范围，也无法获取超过 1000 的数据。但是您可以使用 cloudsearch 语法。它在 reddit wiki https://www.reddit.com/wiki/search#wiki_cloudsearch_syntax 中有详细描述，是非常强大的搜索增强器。

为了用一些代码来支持它，可以通过这种方式实现像这种情况的示例用法：

import datetime
params = {'sort':'new', 'limit':None, 'syntax':'cloudsearch'}
time_now = datetime.datetime.now()
return reddit.subreddit(subreddit).search('timestamp:{0}..{1}'.format(
    int((time_now - datetime.timedelta(days=365)).timestamp()),
    int(time_now.timestamp())),
    **params)

每个查询限制为 1000 个结果，但由于指定的时间范围，您可以针对不同的时间范围查询多次。 IE。抓取 1000 个提交，从最旧的提交中获取 utc_time 并将该时间作为时间戳的第一个参数发送，这将为您提供从上次查询停止的时间点开始的结果。

Answer 2

您想要的功能可通过 subreddit 的 submissions 功能获得。您只需为其提供开始和结束时间戳：

http://praw.readthedocs.io/en/latest/code_overview/models/subreddit.html#praw.models.Subreddit.submissions

使用 PRAW 获得超过 100 个搜索结果？

Getting more than 100 search results with PRAW?

python

reddit

praw