AWS Athena JDBC 驱动程序 ResultSet.getCharacterStream 方法未实现
AWS Athena JDBC Driver ResultSet.getCharacterStream method not implemented
我有一个 Athena/PrestoDB 查询 returns 多达 3 亿个设备 ID。此屏幕截图显示了在 AWS UI 中执行时的查询。结果在不到 1 分钟内显示，我在几分钟内从 UI.
中提供的 link 下载了完整结果 (319MB)
当我通过 JDBC 连接执行相同的查询时，我收到一个方法未实现的错误。 AWS docs 中的 AthenaJDBC41-1.0.0.jar 似乎还没有实现 getCharacterStream。
ActiveRecord::StatementInvalid: ActiveRecord::JDBCError: com.amazonaws.athena.jdbc.NotImplementedException: Method ResultSet.getCharacterStream is not yet implemented: SELECT distinct(device_id) FROM presales.sightings_v3 WHERE DATE(date) BETWEEN DATE('2016-03-01') AND DATE('2016-03-02') AND ( contains(audiences, 1133) OR contains(audiences, 1149) OR contains(audiences, 1184) );
我正在使用来自 AWS docs 的驱动程序 AthenaJDBC41-1.0.0.jar 和我的 示例连接可以在这里看到 .
我的猜测是 ResultSet.getCharacterStream 方法仅用于较大的结果，因为我的其他查询工作正常。
理想情况下，我希望此响应包含 query_id 或 S3 路径，而不是流式传输大数据结果。我很好奇 Athena UI 如何为 S3 上的结果生成 link？
您可以从 ResultSet 中获取查询 ID
((AthenaStatementClient)((AthenaResultSet)rs).getClient()).getQueryExecutionId()
有了它，您可以使用
构建 S3 路径
<s3_staging_dir>/<query_id>.csv
我有一个 Athena/PrestoDB 查询 returns 多达 3 亿个设备 ID。此屏幕截图显示了在 AWS UI 中执行时的查询。结果在不到 1 分钟内显示，我在几分钟内从 UI.
中提供的 link 下载了完整结果 (319MB)当我通过 JDBC 连接执行相同的查询时，我收到一个方法未实现的错误。 AWS docs 中的 AthenaJDBC41-1.0.0.jar 似乎还没有实现 getCharacterStream。
ActiveRecord::StatementInvalid: ActiveRecord::JDBCError: com.amazonaws.athena.jdbc.NotImplementedException: Method ResultSet.getCharacterStream is not yet implemented: SELECT distinct(device_id) FROM presales.sightings_v3 WHERE DATE(date) BETWEEN DATE('2016-03-01') AND DATE('2016-03-02') AND ( contains(audiences, 1133) OR contains(audiences, 1149) OR contains(audiences, 1184) );
我正在使用来自 AWS docs 的驱动程序 AthenaJDBC41-1.0.0.jar 和我的 示例连接可以在这里看到 .
我的猜测是 ResultSet.getCharacterStream 方法仅用于较大的结果，因为我的其他查询工作正常。
理想情况下，我希望此响应包含 query_id 或 S3 路径，而不是流式传输大数据结果。我很好奇 Athena UI 如何为 S3 上的结果生成 link？
您可以从 ResultSet 中获取查询 ID
((AthenaStatementClient)((AthenaResultSet)rs).getClient()).getQueryExecutionId()
有了它，您可以使用
构建 S3 路径<s3_staging_dir>/<query_id>.csv