在我的 Spark 环境中安装 spark-sql-kinesis_2.11-2.2.0.jar
Installing spark-sql-kinesis_2.11-2.2.0.jar in my Spark environment
我正在使用 EMR 集群 develop/run Spark 作业。现在我需要访问 Kinesis 并需要安装 spark-sql-kinesis_2.11-2.2.0.jar。我还不太清楚该怎么做。任何 pointer/experience 都会很有帮助
我最终从源代码 (github) 自己构建了它，然后在我的 spark-submit 代码中指定了它。这似乎是推荐的。
我正在使用 EMR 集群 develop/run Spark 作业。现在我需要访问 Kinesis 并需要安装 spark-sql-kinesis_2.11-2.2.0.jar。我还不太清楚该怎么做。任何 pointer/experience 都会很有帮助
我最终从源代码 (github) 自己构建了它，然后在我的 spark-submit 代码中指定了它。这似乎是推荐的。