不是真正的问题（URL 中的拼写错误）- DbVisualizer 工作时 Netezza pySpark 连接失败

Question

更新：这已经解决。这是 URL.

中的错字

--
我正在尝试在 Windows 10 1909 上使用 pyspark 从 Netezza 读取数据。

我可以使用 DbVisualizer 毫无问题地读取它。然后我尝试了运行ning pyspark --driver-class-path <path to nzjdbc.jar> --jars <path to nzjdbc.jar> --master local[*]（同一台机器，VPN 连接，JDBC 驱动程序 jar，等等）。

我使用了 pyspark 中的代码 shell:

dataframe = spark.read.format("jdbc").options(
    url="jdbc:netezza://<server>:5480/<database>",
    dbtable="ADMIN.<table>",
    user="***",
    password="***",
    driver="org.netezza.Driver",
).load()

但这对我来说失败了，使用以下堆栈，大约 10-20 秒后（我也尝试添加 queryTimeout="300"，但这没有什么区别）：

"...\AppData\Local\Continuum\miniconda3\envs\spark\lib\site-packages\pyspark\python\lib\py4j-0.10.9-src.zip\py4j\protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o41.load.
: org.netezza.error.NzSQLException: Connection timed out: connect
        at org.netezza.sql.NzConnection.initSocket(NzConnection.java:2859)
        at org.netezza.sql.NzConnection.open(NzConnection.java:293)
        at org.netezza.datasource.NzDatasource.getConnection(NzDatasource.java:675)
        at org.netezza.datasource.NzDatasource.getConnection(NzDatasource.java:662)
        at org.netezza.Driver.connect(Driver.java:155)
        at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$.$anonfun$createConnectionFactory(JdbcUtils.scala:64)
        at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:56)
        at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation$.getSchema(JDBCRelation.scala:226)
        at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:35)
        at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:339)
        at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:279)
        at org.apache.spark.sql.DataFrameReader.$anonfun$load(DataFrameReader.scala:268)
        at scala.Option.getOrElse(Option.scala:189)
        at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:268)
        at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:203)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
        at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
        at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
        at py4j.Gateway.invoke(Gateway.java:282)
        at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
        at py4j.commands.CallCommand.execute(CallCommand.java:79)
        at py4j.GatewayConnection.run(GatewayConnection.java:238)
        at java.lang.Thread.run(Unknown Source)

一位同事能够运行来自他 Mac 的相同代码，没有任何问题（也在 VPN 上）。

Windows 或 Netezza 本身是否有可能影响哪些客户端能够连接到 Netezza？还是我在 pyspark 命令中遗漏了什么？

Answer 1

您可以尝试增加 LoginTimeout 值吗？仅供参考 queryTimeout 指的是单个查询的超时。

Answer 2

我在 URL 中发现了一个拼写错误。真是鬼鬼祟祟的

不是真正的问题（URL 中的拼写错误）- DbVisualizer 工作时 Netezza pySpark 连接失败

Not a real issue (typo in URL) - Netezza pySpark connection fails while DbVisualizer works

jdbc

netezza

pyspark

windows-10-desktop