org.apache.hive.jdbc.HiveDriver: HiveBaseResultSet 没有实现absolute()？

Question

我刚开始使用驱动org.apache.hive.jdbc.HiveDriver（版本 1.2.1 for spark2) 与 Spark Thrift Server (STS)（参考 here）

java.sql.ResultSet 定义方法 absolute() (JavaDoc here)

但是HiveBaseResultSet似乎选择了不实现该方法（源代码here）

所以现在我的应用程序（建立在 SmartGWT 之上）正在执行一个简单的操作，我收到以下错误消息：

=== 2017-05-13 18:06:16,980 [3-47] WARN  RequestContext - dsRequest.execute() failed:
java.sql.SQLException: Method not supported
        at org.apache.hive.jdbc.HiveBaseResultSet.absolute(HiveBaseResultSet.java:70)
        at org.apache.commons.dbcp.DelegatingResultSet.absolute(DelegatingResultSet.java:373)
        at com.isomorphic.sql.SQLDataSource.executeWindowedSelect(SQLDataSource.java:2970)
        at com.isomorphic.sql.SQLDataSource.SQLExecute(SQLDataSource.java:2024)

驱动程序选择不执行的原因是什么absolute()？

是否有解决该限制的方法？

Answer 1

感谢 Mark Rotteveel 的提示。现在我理解得更好了，让我 post 回答我自己的问题。

absolute() 的实现是可选的

正如 ResultSet#absolute() (link) 的接口所指定的那样，absolute() 的实现是可选的——尤其是当结果集类型为 TYPE_FORWARD_ONLY 时。

解决方法

在我的例子中，结果集来自 Spark Thrift 服务器 (STS)，所以我猜它确实是只向前的。所以问题变成了如何指示我的应用程序不调用 absolute()，这基本上是为了光标移动。

SmartGWT 特定答案

对于 SmartGWT，这是由一个名为 sqlPaging 的属性控制的，我们可以为 OperationBinding 指定它。使用的正确值似乎是 dropAtServer（更多参考 here）。所以我将我的 SmartGWT 数据源 XML 文件设置为类似这样的内容

<operationBindings>
    <operationBinding   operationType="fetch"  progressiveLoading="false"
                sqlPaging="dropAtServer" 
        >

之后我看到了另一个错误，现在与 HiveConnection#commit():

有关

java.sql.SQLException: Method not supported
    at org.apache.hive.jdbc.HiveConnection.commit(HiveConnection.java:742)
    at org.apache.commons.dbcp.DelegatingConnection.commit(DelegatingConnection.java:334)
    at com.isomorphic.sql.SQLTransaction.commitTransaction(SQLTransaction.java:307)
    at com.isomorphic.sql.SQLDataSource.commit(SQLDataSource.java:4673)

经过更多挖掘，我意识到SmartGWT控制提交行为的权利属性是autoJoinTransactions，我应该将其设置为false（更多参考here）。在这两个更改之后，我可以通过 jdbc.HiveDriver

获得与 STS 通信的应用程序

对于那些也在尝试此操作的人，这是我在 SmartGWT 中对驱动程序的完整设置 server.properties（更多参考 here）

sql.defaultDatabase: perf2 # this name is picked by me, but it can be anyname

sql.perf2.driver.networkProtocol: tcp
sql.perf2.driver: org.apache.hive.jdbc.HiveDriver   # important
sql.perf2.database.type: generic                    # important
sql.perf2.autoJoinTransactions: false               # important
sql.perf2.interface.type: driverManager             # important
sql.perf2.driver.url: jdbc:hive2://host:port        # important -- pick your host:port
sql.perf2.driver.user: someuser                     # important -- pick your username
sql.perf2.interface.credentialsInURL: true
sql.perf2.driver.databaseName: someDb
sql.perf2.driver.context:

org.apache.hive.jdbc.HiveDriver: HiveBaseResultSet 没有实现absolute()？

org.apache.hive.jdbc.HiveDriver: HiveBaseResultSet has not implemented absolute()?

hadoop

hive

thrift

jdbc

apache-spark