无法连接到受 Kerberos 保护的 Phoenix 数据源
Unable to connect to a Kerberos-secured Phoenix datasource
我想用 Java 应用程序测试从 Apache HBase 中提取数据。该应用程序将通过 JDBC 向 Apache Phoenix 使用 SQL 类查询。
我已经在一台使用 Ambari 和 HortonWorks HDP 2.5 平台的机器上设置了我的 Hadoop "cluster"。我还使用 Ambari 的向导对环境进行了 Kerberized,我的 KDC 是一台单独的机器 运行 Windows Active Directory。
Ambari 没有显示任何错误,我能够使用 sqlline.py
通过 Phoenix 成功地对 HBase 进行类似于 SQL 的调用。我以这种方式设置了一些示例表(参见 HortonWorks Phoenix & ODBC tutorial,尽管我必须先 kinit
等)。
但是,我在创建供 Java 应用程序使用的 JDBC 数据源时遇到问题。就我而言,我计划在 WildFly 10.1 上托管 Web 应用程序,并且我正在使用带有 JBoss 工具插件的 Eclipse JEE 进行开发。
这些是我用来创建数据源的步骤:
数据源资源管理器 > 数据库连接 > 新建...
- 连接配置文件: 通用 JDBC
- URL:
jdbc:phoenix:hdfs.eaa.local:2181/hbase-secure:HTTP/hbase.eaa.local@EAA.LOCAL:jboss.server.temp.dir/spnego.service.keytab
- 用户名: hbase -我不确定该放什么-
- 驱动程序: 我已经创建了一个类型为 "Generic JDBC Driver" 的新驱动程序,我必须为 all[=66= 添加 JAR 文件]
phoenix-core-[version].jar
的依赖项。驱动程序 Class 是 org.apache.phoenix.jbdc.PhoenixDriver
。
我从 an extant post in the HortonWorks community 获得了连接字符串,这就是为什么它包含用于连接的 Kerberos 主体和密钥表的原因。
当我尝试测试数据源连接时,它在吐出一条错误消息之前搅动了大约 5 分钟(大约 35 次尝试之后)。客户端 returns Java 异常,套接字在 "closing state" 中,Zookeeper 日志帮助不大:
INFO [SyncThread:0:ZooKeeperServer@617] - Established session 0x157aef451560217 with negotiated timeout 40000 for client /192.168.40.3:52674
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /192.168.40.41:43860
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@827] - Processing ruok command from /192.168.40.41:43860
INFO [Thread-1448:NIOServerCnxn@1007] - Closed socket connection for client /192.168.40.41:43860 (no session established for client)
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /192.168.40.41:43922
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@868] - Client attempting to establish new session at /192.168.40.41:43922
INFO [SyncThread:0:ZooKeeperServer@617] - Established session 0x157aef451560218 with negotiated timeout 40000 for client /192.168.40.41:43922
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:SaslServerCallbackHandler@118] - Successfully authenticated client: authenticationID=hbase/hdfs.eaa.local@EAA.LOCAL; authorizationID=hbase/hdfs.eaa.local@EAA.LOCAL.
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:SaslServerCallbackHandler@134] - Setting authorizedID: hbase
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@964] - adding SASL authorization for authorizationID: hbase
INFO [ProcessThread(sid:0 cport:-1)::PrepRequestProcessor@494] - Processed session termination for sessionid: 0x157aef451560218
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1007] - Closed socket connection for client /192.168.40.41:43922 which had sessionid 0x157aef451560218
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /192.168.40.41:44008
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@827] - Processing ruok command from /192.168.40.41:44008
INFO [Thread-1449:NIOServerCnxn@1007] - Closed socket connection for client /192.168.40.41:44008 (no session established for client)
注意。 192.168.40.3 是 VPN 服务器,我的主机使用它来隧道进入 Hadoop 集群环境。 192.168.40.41是机器运行集群,hdfs.eaa.local
.
有大量已接受的套接字连接然后立即关闭。有时客户端会成功验证(因此我对我的 Kerberos 设置很有信心)但之后会立即终止会话。
我还尝试通过 jboss-cli
、standalone.xml
和 module.xml
修改直接在 WildFly 中部署数据源。但是我遇到了很多缺少依赖项的问题,我不确定如何在不为 phoenix-core-[version].jar
的每个必需的 JAR(而且有很多)创建新模块的情况下解决这些问题。我关注了 this guide.
我该如何解决问题或进一步诊断?这几天我一直在拔头发。
您需要将 hbase-site.xml
和 core-site.xml
添加到类路径中。
有关详细信息,请参阅 。
我想用 Java 应用程序测试从 Apache HBase 中提取数据。该应用程序将通过 JDBC 向 Apache Phoenix 使用 SQL 类查询。
我已经在一台使用 Ambari 和 HortonWorks HDP 2.5 平台的机器上设置了我的 Hadoop "cluster"。我还使用 Ambari 的向导对环境进行了 Kerberized,我的 KDC 是一台单独的机器 运行 Windows Active Directory。
Ambari 没有显示任何错误,我能够使用 sqlline.py
通过 Phoenix 成功地对 HBase 进行类似于 SQL 的调用。我以这种方式设置了一些示例表(参见 HortonWorks Phoenix & ODBC tutorial,尽管我必须先 kinit
等)。
但是,我在创建供 Java 应用程序使用的 JDBC 数据源时遇到问题。就我而言,我计划在 WildFly 10.1 上托管 Web 应用程序,并且我正在使用带有 JBoss 工具插件的 Eclipse JEE 进行开发。
这些是我用来创建数据源的步骤:
数据源资源管理器 > 数据库连接 > 新建...
- 连接配置文件: 通用 JDBC
- URL:
jdbc:phoenix:hdfs.eaa.local:2181/hbase-secure:HTTP/hbase.eaa.local@EAA.LOCAL:jboss.server.temp.dir/spnego.service.keytab
- 用户名: hbase -我不确定该放什么-
- 驱动程序: 我已经创建了一个类型为 "Generic JDBC Driver" 的新驱动程序,我必须为 all[=66= 添加 JAR 文件]
phoenix-core-[version].jar
的依赖项。驱动程序 Class 是org.apache.phoenix.jbdc.PhoenixDriver
。
我从 an extant post in the HortonWorks community 获得了连接字符串,这就是为什么它包含用于连接的 Kerberos 主体和密钥表的原因。
当我尝试测试数据源连接时,它在吐出一条错误消息之前搅动了大约 5 分钟(大约 35 次尝试之后)。客户端 returns Java 异常,套接字在 "closing state" 中,Zookeeper 日志帮助不大:
INFO [SyncThread:0:ZooKeeperServer@617] - Established session 0x157aef451560217 with negotiated timeout 40000 for client /192.168.40.3:52674
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /192.168.40.41:43860
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@827] - Processing ruok command from /192.168.40.41:43860
INFO [Thread-1448:NIOServerCnxn@1007] - Closed socket connection for client /192.168.40.41:43860 (no session established for client)
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /192.168.40.41:43922
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@868] - Client attempting to establish new session at /192.168.40.41:43922
INFO [SyncThread:0:ZooKeeperServer@617] - Established session 0x157aef451560218 with negotiated timeout 40000 for client /192.168.40.41:43922
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:SaslServerCallbackHandler@118] - Successfully authenticated client: authenticationID=hbase/hdfs.eaa.local@EAA.LOCAL; authorizationID=hbase/hdfs.eaa.local@EAA.LOCAL.
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:SaslServerCallbackHandler@134] - Setting authorizedID: hbase
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@964] - adding SASL authorization for authorizationID: hbase
INFO [ProcessThread(sid:0 cport:-1)::PrepRequestProcessor@494] - Processed session termination for sessionid: 0x157aef451560218
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1007] - Closed socket connection for client /192.168.40.41:43922 which had sessionid 0x157aef451560218
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /192.168.40.41:44008
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@827] - Processing ruok command from /192.168.40.41:44008
INFO [Thread-1449:NIOServerCnxn@1007] - Closed socket connection for client /192.168.40.41:44008 (no session established for client)
注意。 192.168.40.3 是 VPN 服务器,我的主机使用它来隧道进入 Hadoop 集群环境。 192.168.40.41是机器运行集群,hdfs.eaa.local
.
有大量已接受的套接字连接然后立即关闭。有时客户端会成功验证(因此我对我的 Kerberos 设置很有信心)但之后会立即终止会话。
我还尝试通过 jboss-cli
、standalone.xml
和 module.xml
修改直接在 WildFly 中部署数据源。但是我遇到了很多缺少依赖项的问题,我不确定如何在不为 phoenix-core-[version].jar
的每个必需的 JAR(而且有很多)创建新模块的情况下解决这些问题。我关注了 this guide.
我该如何解决问题或进一步诊断?这几天我一直在拔头发。
您需要将 hbase-site.xml
和 core-site.xml
添加到类路径中。
有关详细信息,请参阅