如何配置 hadoop rpc 的超时时间？

Question

我的应用程序使用 hadoop 的 rpc 远程 send/receive 分布式环境中的请求。

org.apache.hadoop.ipc.RPC;
org.apache.hadoop.ipc.RPC.Server;

....

this.server = RPC.getServer(this, this.peerAddr.getHostName(), this.peerAddr.getPort(), this.conf);
this.server.start();

随着任务越来越重，我观察到由于IO异常（可能是线程中断引起的）导致任务失败的频率很高。

我怀疑异常是由某种 RPC 超时引起的。

如何调整 hadoop 中 RPC 的超时时间？例如，我期待的是...

<property>
<name>hadoop.rpc.timeout</name>
<value>3000</value>
<description>The timeout for RPC call in ms</description>
</property>

Answer 1

hadoop 0.20不支持，请阅读本期https://issues.apache.org/jira/browse/HADOOP-6889

如何配置 hadoop rpc 的超时时间？

How can I configure hadoop rpc's timeout?

rpc

hadoop