Pyspark 重命名 HDFS 中的文件
Pyspark renaming file in HDFS
我正在使用 spark 2.3.1 并想在 pyspark 程序中重命名 HDFS 文件。
我正在关注这个答案[ (Pyspark)
对于这一行
fs.rename(路径(hdfs_dir+''+file_name),路径(hdfs_dir+''+new_filename ))
我遇到以下错误。
NameError: name 'Path' is not defined
如果我从行中删除 Path 关键字
我遇到以下错误。
Py4JError: An error occurred while calling o562.rename. Trace:
py4j.Py4JException: Method rename([class java.lang.String, class java.lang.String]) does not exist
那么如何解决这个问题呢？
定义路径为
Path = sc._gateway.jvm.org.apache.hadoop.fs.Path
我正在使用 spark 2.3.1 并想在 pyspark 程序中重命名 HDFS 文件。
我正在关注这个答案[
对于这一行
fs.rename(路径(hdfs_dir+''+file_name),路径(hdfs_dir+''+new_filename ))
我遇到以下错误。
NameError: name 'Path' is not defined
如果我从行中删除 Path 关键字
我遇到以下错误。
Py4JError: An error occurred while calling o562.rename. Trace: py4j.Py4JException: Method rename([class java.lang.String, class java.lang.String]) does not exist
那么如何解决这个问题呢？
定义路径为
Path = sc._gateway.jvm.org.apache.hadoop.fs.Path