hadoop DistributedFileSystem 线程安全吗？

Question

我正在使用 hadoop 来写入我抓取的数据。

我有一个 spring 服务，它被多个线程调用以将一些内容写入 HDFS。

@Service
public class WriteService
{
    public void write(String path, String content)
    {
        FileSystem fs = FileSystem.get(conf);
    }
}

我不确定 FileSystem 对象是否可以成为 WriteService 的成员，我也没有发现它是否是线程安全的。我正在使用 DistributedFileSystem 对象。

你知道它是否是线程安全的吗？我可以将它用作我服务的成员吗？

谢谢

Answer 1

Hadoop DFS 使用所谓的 WORM-Model。这使得它在并发问题上更加健壮。

但是，回答这个问题，一般来说不是安全的。您仍然需要考虑并发控制要求。

Answer 2

如果先修改config.setBoolean("fs.hdfs.impl.disable. cache", true);，FileSystem.get(config)可以在多线程中使用

is hadoop DistributedFileSystem thread safe?