高可用性 HDFS 客户端 python
High availability HDFS client python
在 HDFSCLI 文档中,它表示可以通过添加以分号 ;
(https://hdfscli.readthedocs.io/en/latest/quickstart.html#configuration) 分隔的 url,将其配置为连接到多个主机。
我使用 kerberos 客户端,这是我的代码 -
from hdfs.ext.kerberos import KerberosClient hdfs_client = KerberosClient('http://host01:50070;http://host02:50070')
例如,当我尝试 makedir 时,出现以下错误 - requests.exceptions.InvalidURL: Failed to parse: http://host01:50070;http://host02:50070/webhdfs/v1/path/to/create
显然我安装的 hdfs
版本很旧,代码不适用于版本 2.0.8
,但它适用于版本 2.5.7
在 HDFSCLI 文档中,它表示可以通过添加以分号 ;
(https://hdfscli.readthedocs.io/en/latest/quickstart.html#configuration) 分隔的 url,将其配置为连接到多个主机。
我使用 kerberos 客户端,这是我的代码 -
from hdfs.ext.kerberos import KerberosClient hdfs_client = KerberosClient('http://host01:50070;http://host02:50070')
例如,当我尝试 makedir 时,出现以下错误 - requests.exceptions.InvalidURL: Failed to parse: http://host01:50070;http://host02:50070/webhdfs/v1/path/to/create
显然我安装的 hdfs
版本很旧,代码不适用于版本 2.0.8
,但它适用于版本 2.5.7