我想抓取 medium.com 站点上的所有帖子

I want to crawl all the posts on medium.com site

我想抓取 medium.com 站点上的所有帖子。

问题是 medium.com 网站上的所有帖子都无法提供信息。

也经常有媒体站点 url 发生变化。 我不知道如何解决这个问题。

我英语不好所以转了翻译。 对不起。

我访问了中型开发人员页面并查看了 api 代码。

但是我不知道如何获取我想带的所有板上的所有信息。

是否所有用户信息或所有公告板信息都可用?

最后,如果以上都可以的话,浏览者就可以找到自己想要的信息了。

他们的 API 似乎不允许您查看除您登录的任何帐户以外的任何内容,订阅或有权访问 write/edit。我认为这就是您 运行 遇到的问题:

"Returns a full list of publications that the user is related to in some way: This includes all publications the user is subscribed to, writes to, or edits. This endpoint offers a set of data similar to what you’ll see at https://medium.com/me/publications when logged in."

https://github.com/Medium/medium-api-docs#32-publications

不幸的是,媒体没有提供 post 的所有详细信息。 Medium 仅提供最后 10 posts RSS feeds there for you need to convert those into JSON objects. use the below link and replace your user name instead of @userName. In Medium API you could get publications posts but you couldn't get the user's post. Read the docs.

https://api.rss2json.com/v1/api.json?rss_url=https://medium.com/feed/@userName