从 imdb 下载数据时出现 503 错误 api
503 error when downloading data from imdb api
我正在尝试使用 python 的 imdbpy 模块下载近 25000 部电影的情节。为了加快速度，我使用了 Multiprocessing 模块中的 Pool 函数。然而，在近 100 次请求后，出现 503 错误并显示以下消息：服务暂时不可用。 10-15 分钟后，我可以再次处理，但在大约 20 个请求后，同样的错误再次发生。
我知道这可能是 api 中的一个简单块，可以防止调用过多，但是我在网络上找不到有关每个时间单位的最大请求数的任何信息。
你知道如何在不关机的情况下处理这么多电话吗？另外，你知道在哪里可以找到imdb的文档吗api?
最佳
请不要这样做。
IMDb 的 terms of service 禁止抓取，并且 IMDbPY 从未打算用于大规模抓取网站：事实上，它被明确设计为一次获取一部电影。
理论上 IMDbPY 可以管理 plain text data files they distribute, but unfortunately they recently changed both the format 和数据的内容。
IMDb 没有我所知道的 API；如果您必须管理如此大的一部分数据，则必须 get a licence.
我正在尝试使用 python 的 imdbpy 模块下载近 25000 部电影的情节。为了加快速度，我使用了 Multiprocessing 模块中的 Pool 函数。然而，在近 100 次请求后，出现 503 错误并显示以下消息：服务暂时不可用。 10-15 分钟后，我可以再次处理，但在大约 20 个请求后，同样的错误再次发生。
我知道这可能是 api 中的一个简单块，可以防止调用过多，但是我在网络上找不到有关每个时间单位的最大请求数的任何信息。
你知道如何在不关机的情况下处理这么多电话吗？另外，你知道在哪里可以找到imdb的文档吗api?
最佳
请不要这样做。
IMDb 的 terms of service 禁止抓取，并且 IMDbPY 从未打算用于大规模抓取网站：事实上，它被明确设计为一次获取一部电影。
理论上 IMDbPY 可以管理 plain text data files they distribute, but unfortunately they recently changed both the format 和数据的内容。
IMDb 没有我所知道的 API；如果您必须管理如此大的一部分数据，则必须 get a licence.