执行 python 文件时带有 spark-submit 的 CLI 参数

Question

我正在尝试通过 pyspark 中的以下代码将 sql 服务器 tables 转换为 .csv 格式。

from pyspark import SparkContext
sc = SparkContext("local", "Simple App")
from pyspark.sql import SQLContext, Row
sqlContext = SQLContext(sc)

    df = sqlContext.read.format("jdbc").option("url","jdbc:sqlserver://server:port").option("databaseName","database").option("driver","com.microsoft.sqlserver.jdbc.SQLServerDriver").option("dbtable","table").option("user","uid").option("password","pwd").load()

    df.registerTempTable("test")
    df.write.format("com.databricks.spark.csv").save("full_path")

所以，如果我想转换多个tables，我需要写多个数据Frames.So，为了避免它，我想为数据库名称获取命令行参数，并且table 在通过 for 循环迭代数据框时来自用户的名称。

这可能吗？如果是，有人可以指导我如何通过 spark-submit 完成吗？

Answer 1

只需更改 spark-submit 命令和您的代码即可：

test.py

import sys
from pyspark import SparkContext
sc = SparkContext("local", "Simple App")
from pyspark.sql import SQLContext, Row
sqlContext = SQLContext(sc)
db_name = sys.argv[1]
table_name = sys.argv[2]
file_name = sys.argv[3]
df = sqlContext.read.format("jdbc").option("url","jdbc:sqlserver://server:port").option("databaseName",db_name).option("driver","com.microsoft.sqlserver.jdbc.SQLServerDriver").option("dbtable",table_name).option("user","uid").option("password","pwd").load()

df.registerTempTable("test")
df.write.format("com.databricks.spark.csv").save(file_name)

Spark 提交命令： spart-submit test.py <db_name> <table_name> <file_name>

执行 python 文件时带有 spark-submit 的 CLI 参数

CLI argument with spark-submit while executing python file

python

apache-spark

pyspark

spark-submit