在集群上分发数据(使用种子?)
Distributing data on cluster (using torrents?)
我希望这是一个提问的好地方,否则请将我重定向到正确的论坛。
我有大量数据(~400GB)需要分发到集群中的所有节点(~100 个节点)。任何有关如何执行此操作的帮助将不胜感激,以下是我尝试过的方法。
我正在考虑使用种子来做这件事,但我 运行 遇到了一堆问题。这些是我尝试过的步骤:
- 我下载了 ctorrent 来创建 torrent 和种子并下载它。我遇到了问题,因为我没有智能设备。
- 我发现 qbittorrent-nox 有一个嵌入式跟踪器,所以我将它下载到我的一个节点上并设置了跟踪器。
- 我现在使用我创建的跟踪器创建了 torrent,并将其复制到我的节点。
当我 运行 在节点上使用带有实际数据的 torrent 来播种数据时,我得到:
Seed for others 72 hours
- 0/0/1 [1/1/1] 0MB,0MB | 0,0K/s | 0,0K E:0,1 Connecting
当我运行在其中一个节点上下载数据时,我得到:
- 0/0/1 [0/1/0] 0MB,0MB | 0,0K/s | 0,0K E:0,1
所以他们似乎没有连接到跟踪器,但我不知道为什么
我可能做错了什么,但我想不通。
如果有人可以帮助我做我正在做的事情,或者有任何有效分发数据的方法,即使没有种子,我也会很高兴听到。
提前感谢您提供的任何帮助。
but the node thats supposed to be seeding thinks it has 0% of the file, and so it doesn't seed.
如果您使用工具 A 创建了一个元数据文件 (.torrent
),然后想使用工具 B 为它播种,那么您需要将 B 指向元数据和数据(内容文件)本身。
I know it is a different issue now, and might require a different topic, but Im hoping you might have ideas.
您应该创建一个新问题,这样您就有更多空间提供详细信息。
所以这很尴尬,我现在可能已经让它工作了一段时间,但自从我开始以来我确实改变了我的实现。我刚刚重新检查过,我传输的文件在我之前的一次尝试中损坏了,从那以后我一直在使用它们。
所以总结一下,如果其他人最终需要相同的设置,这对我有用:
我使用 "transmission-create /path/to/file/or/directory/to/be/torrented -o /path/to/output/directory/output_file_name.torrent" 创建种子文件(这是因为 qbittorrent-nox 没有提供我可以找到的创建种子文件的工具)
我 运行 计算机上的 torrent 与实际文件因此它将使用 "qbittorrent-nox ~/path/to/torrent/file/name_of_file.torrent" 播种
我将 .torrent 文件复制到所有节点并 运行 "qbittorrent-nox ~/path/to/torrent/file/name_of_file.torrent" 开始下载
我需要配置的 qbittorrent 设置:
在 "Downloads" 中将 "Save files to location" 更改为要播种的节点中的数据位置 #否则该节点将不知道它具有 torrent 中指定的文件并且不会播种它们。
为了避免种子有时开始排队并需要 "force resume" 的问题。这似乎并没有 100% 解决问题
在 "Speed" 选项卡中取消选中 "Enable bandwidth management (uTP)"
取消选中 "Apply rate limit to uTP connections"
在 "BitTorrent" 选项卡中取消选中 "Torrent Queueing"
感谢大家的帮助,很抱歉我无缘无故打扰了大家..
我希望这是一个提问的好地方,否则请将我重定向到正确的论坛。 我有大量数据(~400GB)需要分发到集群中的所有节点(~100 个节点)。任何有关如何执行此操作的帮助将不胜感激,以下是我尝试过的方法。 我正在考虑使用种子来做这件事,但我 运行 遇到了一堆问题。这些是我尝试过的步骤:
- 我下载了 ctorrent 来创建 torrent 和种子并下载它。我遇到了问题,因为我没有智能设备。
- 我发现 qbittorrent-nox 有一个嵌入式跟踪器,所以我将它下载到我的一个节点上并设置了跟踪器。
- 我现在使用我创建的跟踪器创建了 torrent,并将其复制到我的节点。
当我 运行 在节点上使用带有实际数据的 torrent 来播种数据时,我得到:
Seed for others 72 hours - 0/0/1 [1/1/1] 0MB,0MB | 0,0K/s | 0,0K E:0,1 Connecting
当我运行在其中一个节点上下载数据时,我得到:
- 0/0/1 [0/1/0] 0MB,0MB | 0,0K/s | 0,0K E:0,1
所以他们似乎没有连接到跟踪器,但我不知道为什么
我可能做错了什么,但我想不通。 如果有人可以帮助我做我正在做的事情,或者有任何有效分发数据的方法,即使没有种子,我也会很高兴听到。
提前感谢您提供的任何帮助。
but the node thats supposed to be seeding thinks it has 0% of the file, and so it doesn't seed.
如果您使用工具 A 创建了一个元数据文件 (.torrent
),然后想使用工具 B 为它播种,那么您需要将 B 指向元数据和数据(内容文件)本身。
I know it is a different issue now, and might require a different topic, but Im hoping you might have ideas.
您应该创建一个新问题,这样您就有更多空间提供详细信息。
所以这很尴尬,我现在可能已经让它工作了一段时间,但自从我开始以来我确实改变了我的实现。我刚刚重新检查过,我传输的文件在我之前的一次尝试中损坏了,从那以后我一直在使用它们。
所以总结一下,如果其他人最终需要相同的设置,这对我有用: 我使用 "transmission-create /path/to/file/or/directory/to/be/torrented -o /path/to/output/directory/output_file_name.torrent" 创建种子文件(这是因为 qbittorrent-nox 没有提供我可以找到的创建种子文件的工具) 我 运行 计算机上的 torrent 与实际文件因此它将使用 "qbittorrent-nox ~/path/to/torrent/file/name_of_file.torrent" 播种 我将 .torrent 文件复制到所有节点并 运行 "qbittorrent-nox ~/path/to/torrent/file/name_of_file.torrent" 开始下载
我需要配置的 qbittorrent 设置: 在 "Downloads" 中将 "Save files to location" 更改为要播种的节点中的数据位置 #否则该节点将不知道它具有 torrent 中指定的文件并且不会播种它们。
为了避免种子有时开始排队并需要 "force resume" 的问题。这似乎并没有 100% 解决问题
在 "Speed" 选项卡中取消选中 "Enable bandwidth management (uTP)"
取消选中 "Apply rate limit to uTP connections"
在 "BitTorrent" 选项卡中取消选中 "Torrent Queueing"
感谢大家的帮助,很抱歉我无缘无故打扰了大家..