为什么 alluxio 文件一直保持 TO_BE_PERSISTED 的状态
why alluxio files keep a state of TO_BE_PERSISTED all the time
我已经部署了一个基于 HDFS
集群的 Alluxio
集群。当我使用 Alluxio Native Java Api 通过设置 writetype ASYNC_THROUGH 将一些文件写入 Alluxio 时,文件(即使只有 1G)似乎没有写入 HDFS,保持状态 TO_BE_PERSISTED几天后一直这样
我找到了答案。我发现日志 "ERROR DefaultAsyncPersistHandler - Not all the blocks of file /test/sample_data/order_detail_titile_2.0.txt stored on the same worker",当使用 ASYNC_THROUGH 时,Alluxio 请求一个 worker 中的所有文件拦截器。我用CACHE_THROUGH
的地方没有问题
我已经部署了一个基于 HDFS
集群的 Alluxio
集群。当我使用 Alluxio Native Java Api 通过设置 writetype ASYNC_THROUGH 将一些文件写入 Alluxio 时,文件(即使只有 1G)似乎没有写入 HDFS,保持状态 TO_BE_PERSISTED几天后一直这样
我找到了答案。我发现日志 "ERROR DefaultAsyncPersistHandler - Not all the blocks of file /test/sample_data/order_detail_titile_2.0.txt stored on the same worker",当使用 ASYNC_THROUGH 时,Alluxio 请求一个 worker 中的所有文件拦截器。我用CACHE_THROUGH
的地方没有问题