如何使用来自不同网络的 Java Library(org.apache.hadoop.hbase.client) 连接 Hbase？

Question

我有一个使用内部网络的Hadoop集群（ip范围是192.168.0.0/24），我想使用java库（org.apache.hadoop.hbase.client）连接hbase 来自 Windows 7 使用不同网络的开发计算机（ip 是外网 203。252.x.x），但是，我无法连接 hbase。

我有一个问题。

我的代码有错吗？？
是否可以使用 Java 库 (org.apache.hadoop.hbase.client)，我应该使用节俭协议吗？（我不想使用 Thrift）

你有什么想法吗？或评论？

谢谢

这是我连接Hbase的代码。

 public class TestBase {
     public static void main(String[] args) throws MasterNotRunningException, ZooKeeperConnectionException, ServiceException, IOException {

    Configuration configuration = HBaseConfiguration.create();

    configuration.set("hbase.master", "203.252.x.x"); // master info
    configuration.set("hbase.master.port", "6000");
    configuration.set("hbase.zookeeper.quorum", "203.252.x.x");
    configuration.set("hbase.zookeeper.property.clientPort", "2181");
    configuration.set("zookeeper.znode.parent", "/hbase-unsecure"); 

    HBaseAdmin.checkHBaseAvailable(configuration);

    HTable table = null;
    table = new HTable(configuration, "weatherData");

    Scan scan = new Scan();

    scan.setTimeRange(1L, 1435633313526L);
    ResultScanner scanner = null;
    scanner = table.getScanner(scan);

    for (Result rr = scanner.next(); rr != null; rr = scanner.next()) {
        System.out.println(Bytes.toString(rr.getRow())
                + " => "
                + Bytes.toString(rr.getValue(Bytes.toBytes("temp"),
                        Bytes.toBytes("max"))));
    }
       table.close();
       scanner.close();
    }
}

这就是 Eclipse 中的错误代码

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in thread "main" org.apache.hadoop.hbase.MasterNotRunningException: com.google.protobuf.ServiceException: java.net.UnknownHostException: unknown host: datanode2
at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation$StubMaker.makeStub(ConnectionManager.java:1661)
at enter code hereorg.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation$MasterServiceStubMaker.makeStub(ConnectionManager.java:1687)
at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.getKeepAliveMasterService(ConnectionManager.java:1904)
at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.isMasterRunning(ConnectionManager.java:932)
at enter code hereorg.apache.hadoop.hbase.client.HBaseAdmin.checkHBaseAvailable(HBaseAdmin.java:2409)
at TestBase.main(TestBase.java:28)
Caused by: com.google.protobuf.ServiceException: java.net.UnknownHostException: unknown host: datanode2
at org.apache.hadoop.hbase.ipc.RpcClient.callBlockingMethod(RpcClient.java:1739)
at org.apache.hadoop.hbase.ipc.RpcClient$BlockingRpcChannelImplementation.callBlockingMethod(RpcClient.java:1777)
at org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$BlockingStub.isMasterRunning(MasterProtos.java:42561)
at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation$MasterServiceStubMaker.isMasterRunning(ConnectionManager.java:1698)
at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation$StubMaker.makeStubNoRetries(ConnectionManager.java:1607)
at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation$StubMaker.makeStub(ConnectionManager.java:1633)
... 5 more
Caused by: java.net.UnknownHostException: unknown host: datanode2
at org.apache.hadoop.hbase.ipc.RpcClient$Connection.<init>(RpcClient.java:501)
at org.apache.hadoop.hbase.ipc.RpcClient.createConnection(RpcClient.java:325)
at org.apache.hadoop.hbase.ipc.RpcClient.getConnection(RpcClient.java:1614)
at org.apache.hadoop.hbase.ipc.RpcClient.call(RpcClient.java:1494)
at org.apache.hadoop.hbase.ipc.RpcClient.callBlockingMethod(RpcClient.java:1724)
... 10 more

Answer 1

您无法访问集群的节点。检查防火墙和网络设置。确保端口也打开以进行连接。

这是你的堆栈跟踪错误：

Exception in thread "main" org.apache.hadoop.hbase.MasterNotRunningException: com.google.protobuf.ServiceException: java.net.UnknownHostException: unknown host: datanode2

此外，您不需要在代码中指定 HBase 集群属性。将 hbase-site.xml 放入 java 的类路径中，然后实例化连接。

Answer 2

HBase Master DNS 名称映射到 hbase.master 的 IP 地址可能存在问题。确保您设置了 DNS 服务器，否则您可以尝试找到与我的 GNU/Linux 机器上工作的类似的东西。如在尝试连接主节点的机器上配置“/etc/hostname”：设置HBase Master节点的名称）和“/etc/hosts”。

希望你能以某种方式在你的 Windows 机器上设置它。

这里有一个对 GNU/Linux 有用的 link 方式：

http://sujee.net/2012/03/08/getting-dns-right-for-hadoop-hbase-clusters/#.XULnEZNKhTZ

如何使用来自不同网络的 Java Library(org.apache.hadoop.hbase.client) 连接 Hbase？

How can I connect Hbase using Java Library(org.apache.hadoop.hbase.client) from different network?

java

apache

networking

hadoop

hbase