Praw:如何根据创建日期过滤搜索结果?
Praw: How to filter search results based on created date?
我想在后台有一个脚本 运行,它将每隔一小时左右获取 subreddit 数据。现在因为我不想在我的数据库中有重复的条目,我想根据 created_utc
过滤我的搜索结果
这是我目前拥有的:
r = praw.Reddit(user_agent='soc')
submissions = r.get_subreddit('soccer').get_hot()
这就是我想要的:
r = praw.Reddit(user_agent='soc')
submissions = r.get_subreddit('soccer').get_hot(created_utc > '2016-02-18 14:33:14.000')
有哪些方法可以实现?
您应该比较日期时间对象而不是字符串,因此您应该像这样将它们转换为日期时间:
from datetime import datetime
date = datetime.strptime('2016-02-18 14:33:14.000', '%Y-%m-%d %H:%M:%S.%f')
你也应该对 created_utc 做同样的事情,然后比较两者。我不知道您可以在 get_hot 函数中进行比较,因为我从未使用过它。
SubReddit
class nor the Reddit API 都没有您想要的基于日期的过滤方法,所以这里有一个选项供您选择:
在将结果放入数据库之前,先在 Python 中过滤掉结果。 get_hot
和 get_new
return 生成器对象,因此您可以像这样使用列表理解:
from datetime import datetime, timedelta
import praw
# assuming you run this script every hour
an_hour_ago = datetime.utcnow() - timedelta(hours=1)
r = praw.Reddit(user_agent='soc')
submissions = r.get_subreddit('soccer').get_new()
submissions_list = [
# iterate through the submissions generator object
x for x in submissions
# add item if item.created_utc is newer than an hour ago
if datetime.utcfromtimestamp(x.created_utc) >= an_hour_ago
]
默认情况下,Reddit 仅 returns 25 个列表,因此如果您需要更多,则必须对其进行分页。
limit = 100 # Reddit maximum limit
total_list = []
submissions = r.get_subreddit('soccer').get_new(limit=limit)
submissions_list = [
x for x in submissions
if datetime.utcfromtimestamp(x.created_utc) >= an_hour_ago
]
total_list += submissions_list
if len(submissions_list) == limit:
submissions = r.get_subreddit('soccer').get_new(
# get limit of items past the last item in the total list
limit=100, params={"after": total_list[-1].fullname}
)
submissions_list_2 = [
# iterate through the submissions generator object
x for x in submissions
# add item if item.created_utc is newer than an hour ago
if datetime.utcfromtimestamp(x.created_utc) >= an_hour_ago
]
total_list += submissions_list_2
print total_list
如果提交数量大于 200,则必须将其放入这样的递归函数中:subreddit_latest.py
我想在后台有一个脚本 运行,它将每隔一小时左右获取 subreddit 数据。现在因为我不想在我的数据库中有重复的条目,我想根据 created_utc
过滤我的搜索结果这是我目前拥有的:
r = praw.Reddit(user_agent='soc')
submissions = r.get_subreddit('soccer').get_hot()
这就是我想要的:
r = praw.Reddit(user_agent='soc')
submissions = r.get_subreddit('soccer').get_hot(created_utc > '2016-02-18 14:33:14.000')
有哪些方法可以实现?
您应该比较日期时间对象而不是字符串,因此您应该像这样将它们转换为日期时间:
from datetime import datetime
date = datetime.strptime('2016-02-18 14:33:14.000', '%Y-%m-%d %H:%M:%S.%f')
你也应该对 created_utc 做同样的事情,然后比较两者。我不知道您可以在 get_hot 函数中进行比较,因为我从未使用过它。
SubReddit
class nor the Reddit API 都没有您想要的基于日期的过滤方法,所以这里有一个选项供您选择:
在将结果放入数据库之前,先在 Python 中过滤掉结果。 get_hot
和 get_new
return 生成器对象,因此您可以像这样使用列表理解:
from datetime import datetime, timedelta
import praw
# assuming you run this script every hour
an_hour_ago = datetime.utcnow() - timedelta(hours=1)
r = praw.Reddit(user_agent='soc')
submissions = r.get_subreddit('soccer').get_new()
submissions_list = [
# iterate through the submissions generator object
x for x in submissions
# add item if item.created_utc is newer than an hour ago
if datetime.utcfromtimestamp(x.created_utc) >= an_hour_ago
]
默认情况下,Reddit 仅 returns 25 个列表,因此如果您需要更多,则必须对其进行分页。
limit = 100 # Reddit maximum limit
total_list = []
submissions = r.get_subreddit('soccer').get_new(limit=limit)
submissions_list = [
x for x in submissions
if datetime.utcfromtimestamp(x.created_utc) >= an_hour_ago
]
total_list += submissions_list
if len(submissions_list) == limit:
submissions = r.get_subreddit('soccer').get_new(
# get limit of items past the last item in the total list
limit=100, params={"after": total_list[-1].fullname}
)
submissions_list_2 = [
# iterate through the submissions generator object
x for x in submissions
# add item if item.created_utc is newer than an hour ago
if datetime.utcfromtimestamp(x.created_utc) >= an_hour_ago
]
total_list += submissions_list_2
print total_list
如果提交数量大于 200,则必须将其放入这样的递归函数中:subreddit_latest.py