如何上传Scrapy数据到FTP
How to upload Scrapy data to FTP
我尝试将 scv 上传到 ftp。我如何看待两种方式:FEED_FORMAT + FEED_URI 和 FEEDS.
我的 settings.py 用第一种方式连接到 FTP 但没有上传文件。我收到错误 550。而且它已被弃用。
FEED_FORMAT = 'csv'
FEED_URI = 'ftp://***/files/file.csv'
所以我尝试使用 FEEDS。我多次阅读此 https://docs.scrapy.org/en/latest/topics/feed-exports.html#std-setting-FEEDS 并在此处搜索示例并在官方 Discord 上询问但没有答案。这部分工作并创建文件:
FEEDS = {
pathlib.Path('file.csv'): {
'format': 'csv',
}
}
我需要编写 FTP 登录并通过 FEEDS,但我不知道如何操作。我试过了,但没用:
FEED_STORAGES = {
'ftp': 'ftp://****/files/file.csv',
}
我试过类似的方法,但它也不起作用:
FEEDS = {
pathlib.Path('file.csv'): {
'format': 'csv',
}
'ftp': 'ftp://****/files/file.csv',
}
我认为这是一个非常简单的问题,因为得到了“阅读文档”之类的答案,但我被困在这里了。
所以第一个问题我可以写登录并传入settings.py吗?或者在弃用 FEED_FORMAT 和 FEED_URI 之后,它应该在另一个文件中。
第二个问题如何编写登录名并传递给 FTP 以获得 FEEDS。对于此文档 https://docs.scrapy.org/,我真的需要这里的语法而不是 link,因为我阅读了所有内容。如果问事实上
真的很难我会很感激 link 到另一个不是复制粘贴官方的文档。
I get error 550.
据我所知,该错误意味着您尝试使用的路径不存在,或者您没有访问它的权限。
我建议检查路径 and/or 您的凭据。
但如果您想尝试使用 FEEDS
,请继续阅读。
文档确实显示了您想要的示例:https://docs.scrapy.org/en/latest/topics/feed-exports.html#feeds
但为了进一步简化该代码,一个最小的示例如下:
FEEDS = {
'ftp://****/files/file.csv': {
'format': 'csv',
},
}
当然,如果你想修改默认值,你可以添加额外的选项。
我尝试将 scv 上传到 ftp。我如何看待两种方式:FEED_FORMAT + FEED_URI 和 FEEDS.
我的 settings.py 用第一种方式连接到 FTP 但没有上传文件。我收到错误 550。而且它已被弃用。
FEED_FORMAT = 'csv'
FEED_URI = 'ftp://***/files/file.csv'
所以我尝试使用 FEEDS。我多次阅读此 https://docs.scrapy.org/en/latest/topics/feed-exports.html#std-setting-FEEDS 并在此处搜索示例并在官方 Discord 上询问但没有答案。这部分工作并创建文件:
FEEDS = {
pathlib.Path('file.csv'): {
'format': 'csv',
}
}
我需要编写 FTP 登录并通过 FEEDS,但我不知道如何操作。我试过了,但没用:
FEED_STORAGES = {
'ftp': 'ftp://****/files/file.csv',
}
我试过类似的方法,但它也不起作用:
FEEDS = {
pathlib.Path('file.csv'): {
'format': 'csv',
}
'ftp': 'ftp://****/files/file.csv',
}
我认为这是一个非常简单的问题,因为得到了“阅读文档”之类的答案,但我被困在这里了。
所以第一个问题我可以写登录并传入settings.py吗?或者在弃用 FEED_FORMAT 和 FEED_URI 之后,它应该在另一个文件中。
第二个问题如何编写登录名并传递给 FTP 以获得 FEEDS。对于此文档 https://docs.scrapy.org/,我真的需要这里的语法而不是 link,因为我阅读了所有内容。如果问事实上 真的很难我会很感激 link 到另一个不是复制粘贴官方的文档。
I get error 550.
据我所知,该错误意味着您尝试使用的路径不存在,或者您没有访问它的权限。
我建议检查路径 and/or 您的凭据。
但如果您想尝试使用 FEEDS
,请继续阅读。
文档确实显示了您想要的示例:https://docs.scrapy.org/en/latest/topics/feed-exports.html#feeds
但为了进一步简化该代码,一个最小的示例如下:
FEEDS = {
'ftp://****/files/file.csv': {
'format': 'csv',
},
}
当然,如果你想修改默认值,你可以添加额外的选项。