使用 tweepy 进行文本挖掘

Question

我已经使用 tweepy api 收集了推文并且我已经标记了它们并删除了停用词但是当我使用 json 加载它们时它会抛出以下错误

"File "C:\Python27\Projects\kik.py", line 26, in <module>
    tweet = json.loads(tokens)
  File "C:\Python27\lib\json\__init__.py", line 338, in loads
    return _default_decoder.decode(s)
  File "C:\Python27\lib\json\decoder.py", line 366, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
TypeError: expected string or buffer"

请帮帮我。

tweets_data_path = 'c:\Python27\Projects\newstweets.txt'
stopset = set(stopwords.words('english'))

tweets_data = []
tweets_file = open(tweets_data_path, "r")
text = tweets_file.read()
tokens=word_tokenize(str(text))
tokens = [w for w in tokens if not w in stopset]
tweet = json.loads(tokens)
tweets_data.append(tweet)

Answer 1

json.loads 需要一个字符串，您正在尝试加载一个列表。

而不是：

tokens = [w for w in tokens if not w in stopset]

尝试：

tokens = str([w for w in tokens if not w in stopset])

使用 tweepy 进行文本挖掘

Text Mining using tweepy

python

json

twitter

tweepy