如何避免在 Spark 中要求任何本地库进行压缩
How to avoid requiring any native libraries for compression in Spark
我们正在各种服务器上进行 POC machines/architectures。我们没有能力为所有这些重建本机压缩库。
哪个编解码器只是软件？默认的 snappy 出现以下错误：
Caused by: java.lang.IllegalArgumentException
at org.apache.spark.io.SnappyCompressionCodec.<init>(CompressionCodec.scala:152)
lz4
只是软件。这是有效的。
配置方式：在$SPARK_HOME/conf/spark-defaults.conf:
spark.io.compression.codec lz4
我们正在各种服务器上进行 POC machines/architectures。我们没有能力为所有这些重建本机压缩库。
哪个编解码器只是软件？默认的 snappy 出现以下错误：
Caused by: java.lang.IllegalArgumentException
at org.apache.spark.io.SnappyCompressionCodec.<init>(CompressionCodec.scala:152)
lz4
只是软件。这是有效的。
配置方式：在$SPARK_HOME/conf/spark-defaults.conf:
spark.io.compression.codec lz4