由于转义字符导致找不到文件错误
Getting file not found error because of escape character
我正在尝试通过 java 代码在 Linux 终端中执行以下 spark-shell 命令。
echo spark.sparkContext.parallelize\(1 to 3,3\).map\(x => \
(x,\"city_\"+x\)\).toDF\(\"num",\"city\"\).write.partitionBy\(\"num\"\).mode\
(SaveMode.Overwrite\).parquet\(\"/tmp/abinash\"\) | /opt/ab/cd/de/spark-shell
但是 /tmp/abinash 出现 "No such file or directory" 错误,即使文件存在
我尝试了很多方法来解决这个问题。但没有取得任何成功。
我假设转义字符有问题。
任何人都可以帮助我解决我在这里做错的问题。
试试这个。
> echo "spark.sparkContext.parallelize(1 to 3,3).map(x => (x,\"city_\"+x)).toDF(\"num\",\"city\").write.partitionBy(\"num\").mode(SaveMode.Overwrite).parquet(\"/tmp/abinash\")"
spark.sparkContext.parallelize(1 to 3,3).map(x => (x,"city_"+x)).toDF("num","city").write.partitionBy("num").mode(SaveMode.Overwrite).parquet("/tmp/abinash")
我正在尝试通过 java 代码在 Linux 终端中执行以下 spark-shell 命令。
echo spark.sparkContext.parallelize\(1 to 3,3\).map\(x => \
(x,\"city_\"+x\)\).toDF\(\"num",\"city\"\).write.partitionBy\(\"num\"\).mode\
(SaveMode.Overwrite\).parquet\(\"/tmp/abinash\"\) | /opt/ab/cd/de/spark-shell
但是 /tmp/abinash 出现 "No such file or directory" 错误,即使文件存在
我尝试了很多方法来解决这个问题。但没有取得任何成功。 我假设转义字符有问题。
任何人都可以帮助我解决我在这里做错的问题。
试试这个。
> echo "spark.sparkContext.parallelize(1 to 3,3).map(x => (x,\"city_\"+x)).toDF(\"num\",\"city\").write.partitionBy(\"num\").mode(SaveMode.Overwrite).parquet(\"/tmp/abinash\")"
spark.sparkContext.parallelize(1 to 3,3).map(x => (x,"city_"+x)).toDF("num","city").write.partitionBy("num").mode(SaveMode.Overwrite).parquet("/tmp/abinash")