Alluxio frame size() 大于 Spark 上的 max()

Question

我在 Alluxio with Spark 上遇到一个奇怪的错误。我使用 Alluxio 的 Spark 读取了 20.000 个文件并且它有效。但是我用 Alluxio 的 Spark 读取了 40.000 个文件，它没有用。我使用 Alluxio 1.2、Spark 1.6.0 并使用文件 API 读取数据：FileSystem fs = FileSystem.Factory.get(); AlluxioURI path = new AlluxioURI(/partition0); ...

16/08/19 16:08:40 INFO logger.type: Client registered with FileSystemMasterClient master @ master/127.0.0.1:19998
16/08/19 16:08:41 ERROR logger.type: Frame size (17277505) larger than max length (16777216)!
org.apache.thrift.transport.TTransportException: Frame size (17277505) larger than max length (16777216)!
        at org.apache.thrift.transport.TFramedTransport.readFrame(TFramedTransport.java:137)
        at org.apache.thrift.transport.TFramedTransport.read(TFramedTransport.java:101)
        at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
        at org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429)
        at org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318)
        at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:219)
        at org.apache.thrift.protocol.TProtocolDecorator.readMessageBegin(TProtocolDecorator.java:135)
        at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:69)
        at alluxio.thrift.FileSystemMasterClientService$Client.recv_listStatus(FileSystemMasterClientService.java:503)
        at alluxio.thrift.FileSystemMasterClientService$Client.listStatus(FileSystemMasterClientService.java:489)
        at alluxio.client.file.FileSystemMasterClient.call(FileSystemMasterClient.java:220)
        at alluxio.client.file.FileSystemMasterClient.call(FileSystemMasterClient.java:216)
        at alluxio.AbstractClient.retryRPC(AbstractClient.java:324)
        at alluxio.client.file.FileSystemMasterClient.listStatus(FileSystemMasterClient.java:216)
        at alluxio.client.file.BaseFileSystem.listStatus(BaseFileSystem.java:195)
        at alluxio.client.file.BaseFileSystem.listStatus(BaseFileSystem.java:186)
        at Main.main(Main.java:119)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain(SparkSubmit.scala:181)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Exception in thread "main" java.io.IOException: Failed after 32 retries.
        at alluxio.AbstractClient.retryRPC(AbstractClient.java:334)
        at alluxio.client.file.FileSystemMasterClient.listStatus(FileSystemMasterClient.java:216)
        at alluxio.client.file.BaseFileSystem.listStatus(BaseFileSystem.java:195)
        at alluxio.client.file.BaseFileSystem.listStatus(BaseFileSystem.java:186)
        at Main.main(Main.java:119)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain(SparkSubmit.scala:181)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

这不是 alluxio.security.authentication.type 问题，因为我运行本地的 Alluxio 和 Alluxio master 地址是正确的。我不明白为什么它不能处理 40.000 个文件，而它可以处理 20.000 个文件。

我也修改了alluxio.network.thrift.frame.size.bytes.max但没有结果..

Answer 1

此问题可能由不同的可能原因引起：

请仔细检查Alluxio master地址的端口是否正确。 Alluxio master 的默认监听端口是 19998 端口，而导致此错误消息的一个常见错误是在 master 地址中使用了错误的端口（例如，使用 19999 端口，这是 Alluxio master 的默认 Web UI 端口） .
请确保Alluxio client和master的安全设置一致。 Alluxio 通过配置 alluxio.security.authentication.type 提供不同的方法来验证用户。如果此属性在服务器和客户端之间配置了不同的值（例如，一个使用默认值 NOSASL 而另一个自定义为 SIMPLE），则会发生此错误。请阅读 Configuration-Settings 以了解如何自定义 Alluxio 集群和应用程序。
Apache-Spark 和 Alluxio 之间的配置。您必须更改 Spark 的 JVM 环境才能在 alluxio/conf/alluxio-site.properties 中工作 alluxio.network.thrift.frame.size.bytes.max。为此，您必须在 spark-env.sh 中添加 export SPARK_CLASSPATH=${ALLUXIO_HOME}/conf:${SPARK_CLASSPATH} 或添加 --driver-class-path pathAlluxio/conf with spark-submit 命令

对我来说，这是第三种解决方案

Alluxio frame size() 大于 Spark 上的 max()

Alluxio frame size() larger than max() on Spark

java

thrift

apache-spark

alluxio