从 Scrapinghub 下载项目的源代码

Download project's source-code from Scrapinghub

我在 Scrapinghub 上部署了一个项目，我根本没有该代码的任何副本。

如何从 Scrapinghub 下载整个项目的代码到我的本地主机？

据我所知，目前没有public API 可以在Scrapy Cloud 上检索您的项目源代码。 （有错请指正）
但确实可以在没有额外权限的情况下检索您的项目源代码。

当作业为运行时，项目相关文件位于/app路径：

job-<some-job-id>:/app$ ls -la /app                                                                                                                                                                                                                                                                                              
total 48                                                                                                                                                                                                                                                                                                                      
drwxr-xr-x  5 root   root     4096 Jul 27 17:13 .                                                                                                                                                                                                                                                                             
drwxr-xr-x 82 root   root     4096 Jul 28 04:09 ..                                                                                                                                                                                                                                                                            
-rw-r--r--  1 root   root    26695 Jul 27 17:13 __main__.egg                                                                                                                                                                                                                                                                  
drwxr-xr-x  2 nobody nogroup  4096 May 23 07:34 addons_eggs                                                                                                                                                                                                                                                                   
drwxr-xr-x  2 nobody nogroup  4096 Jul 24 14:27 python                                                                                                                                                                                                                                                                        
-rw-r--r--  1 root   root       14 Jul 24 14:27 requirements.txt

其中文件 __main__.egg 包含您所有的项目源代码。

因此您可以：

  1. 选择当前 运行 作业，访问其控制台：https://app.scrapinghub.com/p/[project_id]/[spider_id]/[job_id]/console
  2. 将 .egg 文件发送到您以后可以检索到的地方，例如curl http://IP-address-of-your-own-server:8888/retrieve-file --data-binary @/app/__main__.egg（假设您已经准备好接收数据的服务）

或者，我想你可以随时联系 Scrapinghub 支持寻求帮助。

我能够使用

下载项目代码 
shub fetch-eggs project_id_here

其中 project_id_here 可以在打开项目时从浏览器 URL 抓取。

生成的文件将是一个 *.egg 只需使用 WinRAR 或您使用的任何其他工具将其像 ZIP 文件一样解压即可。

补充说明：- SHUB 没有用户友好的错误，一旦我使用不同的帐户登录到 shub 并尝试下载另一个不同帐户的项目，所以请确保您登录到项目所在的同一个 scrapinghub 帐户正在尝试下载。