C# HDFS 文件上传超时

Question

我正在使用 Microsoft.Research.Peloponnese.WebHdfs 将文件写入 HDFS。但是使用它上传文件似乎有 100 秒的超时时间。我没有找到任何方法可以更改此超时。

using (var hdfs = new WebHdfsClient(user, port))
{
   using (Stream writeStream = hdfs.GetDfsStreamWriter(writeFileURI))
   {
     using (Stream readStream = System.IO.File.OpenRead(inFile))
     {
         readStream.CopyTo(writeStream );
     }
   }
}

或者有没有更好的方法使用C#将文件写入HDFS？

Answer 1

使用 WebHdfs class

的修改版本

修改 GetDfsStreamWriter 方法，为 PUT 请求设置超时属性。

put.Timeout = 8000000;

C# HDFS 文件上传超时

C# HDFS File upload timeouts

c#

hdfs

webhdfs