sparkSQL："No input path specified in job"，但同样的语句在 spark-shell 中起作用

Question

虽然 运行 使用 scala 在客户端模式下生成代码，

sqlContext.sql(select columname from databasename.tablename).agg(max(columname))

给出错误

"No input path specified in Job".

但同样的语句在 spark-shell repl.

中运行得非常好

任何人都可以建议为什么会出现此错误

Answer 1

通过spark-submit setting/removing spark 配置参数spark.sql.parquet.cacheMetadata=false。默认情况下，此参数设置为true。此更改后问题已解决。