Spark on Tachyon（alluxio）。帧大小 (273247862) 大于最大长度 (16777216)

Question

我按照指南在 Alluxio 上部署了 spark。当我尝试从 alluxio 加载数据到运行 rdd 操作时，

val ccc = sc.textFile("alluxio://localhost:19998/findbugs.xml")
ccc.count

出现如下错误：

16/07/24 23:27:16 INFO logger.type: getFileStatus(alluxio://localhost:19998/findbugs.xml)
16/07/24 23:27:16 ERROR logger.type: Frame size (273247862) larger than max length (16777216)!
alluxio.org.apache.thrift.transport.TTransportException: Frame size (273247862) larger than max length (16777216)!
    at alluxio.org.apache.thrift.transport.TFramedTransport.readFrame(TFramedTransport.java:137)
    at alluxio.org.apache.thrift.transport.TFramedTransport.read(TFramedTransport.java:101)
    at alluxio.org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)

java版本为1.8.0_74,spark:1.2.0； Alluxio 1.2.0
这个问题困扰了我好久

Answer 1

此错误的典型原因是使用了错误的端口连接到 Alluxio master。默认端口为 19998。您可以尝试重新启动 spark-shell 并连接到正确的端口。

此错误的另一个可能原因是客户端和主服务器的安全设置不同。身份验证类型（配置参数 alluxio.security.authentication.type）应在客户端和主服务器上匹配。以下是有关配置参数的信息：http://www.alluxio.org/docs/master/en/Configuration-Settings.html#security-configuration

Spark on Tachyon（alluxio）。帧大小 (273247862) 大于最大长度 (16777216)

Spark on Tachyon(alluxio). Frame size (273247862) larger than max length (16777216)

thrift

apache-spark

alluxio