通过所有深度的所有子发现 URL 从种子 URL 发出自定义元数据
Emit a custom metadata from seed URLs through all child discovered URLs for all depth
我有一个基于 Storm Crawler 的项目，它索引了 Solr 集合中的所有内容和状态。对于每个 seedUrl，我有一些元数据需要通过每个种子 URL 的所有子项发出。例如，我有一个类似这样的数据结构：
如何为每个 seedUrl 将 crawlId 和相应的元数据发送给所有已发现的子节点？是否有我们可以从中使用的任何内置功能？
metadata.transfer就是你所需要的，see conf from the archetype
我有一个基于 Storm Crawler 的项目，它索引了 Solr 集合中的所有内容和状态。对于每个 seedUrl，我有一些元数据需要通过每个种子 URL 的所有子项发出。例如，我有一个类似这样的数据结构：
如何为每个 seedUrl 将 crawlId 和相应的元数据发送给所有已发现的子节点？是否有我们可以从中使用的任何内置功能？
metadata.transfer就是你所需要的，see conf from the archetype