使用转义或引号在pyspark中的文件中写入数据帧时如何获得精确匹配？

Question

我正在尝试将数据框加载到文件中，但无法获得精确匹配。你能帮我解决这个问题吗？

example:

"From...............\"dawood\"...........\"oral use\"........"

but i am getting:

"From................\"dawood\"...........\"oral use\\"......"

i am using below code to write the dataframe:
df.repartition(1).write.format('com.databricks.spark.csv').mode('overwrite').save(output_path,quote='"', sep='|',header='True',nullValue=None)

你能帮我如何获得所有记录的精确匹配吗？

Answer 1

要么将其复制到您的 shell 脚本中：

python imed_consump.py 'Smart Source'

但是你的参数总是固定的。如果不需要，请在 shell

内执行以下操作

python imed_consump.py ""

并执行你的 shell，例如：

bash imed_consump.sh 'Smart Source'

使用转义或引号在pyspark中的文件中写入数据帧时如何获得精确匹配？

How to get exact match while writing dataframe in file in pyspark using escape or quote?

python

dataframe

pyspark

pyspark-dataframes