将 avro jars 复制到 docker jars 目录

Question

我正在学习 spark 我想使用 avro 数据文件，因为 avro 是 spark 的外部文件。我已经下载了罐子。但是我的问题是如何将它复制到那个特定的地方 'jars dir' 到我的容器中？我在这里读过 relative post 但我不明白。

我也在下面从 spark 主网站看到了这个命令，但我想我需要在运行它之前复制 jar 文件。

./bin/spark-shell --packages org.apache.spark:spark-avro_2.XX:X.X.X ...

我试过的是

docker cp /Users/username/Downloads/spark-avro_2.11-2.4.5.jar docker-spark_master_1:/jars

但它不起作用。提前致谢

nb：我是运行 spark 2.4 container with worker 和 master。

Answer 1

引用 docker cp Documentation,

docker cp SRC_PATH CONTAINER:DEST_PATH

If SRC_PATH specifies a file and DEST_PATH does not exist then the file is saved to a file created at DEST_PATH

根据您尝试的命令，

容器中不存在目标路径 /jars，因为实际目标应该是 /usr/spark-2.4.1/jars/。因此，jar 被复制到根目录 (/) 下名为 jars 的容器中。

尝试使用此命令将 jar 添加到 spark jars，

docker cp /Users/username/Downloads/spark-avro_2.11-2.4.5.jar docker-spark_master_1:/usr/spark-2.4.1/jars/

将 avro jars 复制到 docker jars 目录

Copying avro jars into docker jars directory

docker

apache-spark

copy-paste

avro

spark-avro