通过 Shodan 下载大型数据集时卡住？
Freezing while downloading large datasets through Shodan?
我在 Windows 10 上通过 Anaconda 终端使用 Shodan 的 API 来获取针对以下查询的数据，但在 运行 几秒钟后，ETA 计时器冻结，我的网络 activity 降为零。发生这种情况时，按 Control+C 会重新启动它并使其再次移动几秒钟，但很快就会停止。
shodan download --limit 3100000 data state:"wa"
此外，运行- 下载速度似乎很慢；我想问问有什么办法可以加快速度吗？我的大学互联网速度可达 300 Mbps，但下载速度似乎上限为 5 Mbps。
我不知道如何解决这两个问题；我的设备有足够的 space 并且我的互联网没有断开连接。我们已经尝试 运行 作为管理员使用 Anaconda 终端，但这也没有帮助。
我不熟悉具体的网站，但一般情况下看到速度受限或下载停止不是由大学连接或下载脚本等因素'on your side'引起的。
很可能网站想要保护自己，您需要以不同的方式使用 api（例如使用不同的帐户）。或者您有一些基于您的帐户的使用限制，您达到了。
最好的做法可能是联系该网站并询问他们如何做到这一点。
我收到了 Shodan 支持的回复；在这里交叉发布他们的一些回复-
The API is not designed for large, bulk export of data. As a result,
you're encountering a few problems/ limits:
- There is a hard limit of 1 million results per search query. This means that it isn't possible to download all results for the search query "state:wa".
- The search API performs best on the first few pages and progressively responds slower the deeper into the results you get.
This means that the first few pages return instantly whereas the 100th
page will take potentially 10+ seconds.
- You can only send 1 request per second so you can't multiplex/ parallelize the search requests.
A lot of high-level analysis can be performed using search facets.
在他们站点周围的 shodan.pdf 小册子中有关于方面的文档，用于从他们的 API 返回摘要信息。
我在 Windows 10 上通过 Anaconda 终端使用 Shodan 的 API 来获取针对以下查询的数据，但在 运行 几秒钟后，ETA 计时器冻结，我的网络 activity 降为零。发生这种情况时，按 Control+C 会重新启动它并使其再次移动几秒钟，但很快就会停止。
shodan download --limit 3100000 data state:"wa"
此外，运行- 下载速度似乎很慢；我想问问有什么办法可以加快速度吗？我的大学互联网速度可达 300 Mbps，但下载速度似乎上限为 5 Mbps。
我不知道如何解决这两个问题；我的设备有足够的 space 并且我的互联网没有断开连接。我们已经尝试 运行 作为管理员使用 Anaconda 终端，但这也没有帮助。
我不熟悉具体的网站，但一般情况下看到速度受限或下载停止不是由大学连接或下载脚本等因素'on your side'引起的。
很可能网站想要保护自己，您需要以不同的方式使用 api（例如使用不同的帐户）。或者您有一些基于您的帐户的使用限制，您达到了。
最好的做法可能是联系该网站并询问他们如何做到这一点。
我收到了 Shodan 支持的回复；在这里交叉发布他们的一些回复-
The API is not designed for large, bulk export of data. As a result, you're encountering a few problems/ limits:
- There is a hard limit of 1 million results per search query. This means that it isn't possible to download all results for the search query "state:wa".
- The search API performs best on the first few pages and progressively responds slower the deeper into the results you get. This means that the first few pages return instantly whereas the 100th page will take potentially 10+ seconds.
- You can only send 1 request per second so you can't multiplex/ parallelize the search requests.
A lot of high-level analysis can be performed using search facets.
在他们站点周围的 shodan.pdf 小册子中有关于方面的文档，用于从他们的 API 返回摘要信息。