boto3 会导致 EMRFS 元数据不一致吗

Question

当 运行 EMR 集群中启用了一致视图的 python 脚本时，我正在使用 boto3 SDK。我正在尝试使用错误消息 Exception while invoking ConsistencyCheckerS3FileSystem.mkdirs over null

调试异常

我的问题是 boto3 会导致 EMRFS 元数据不一致吗？从 EMR 执行时，我们是否应该始终对 s3 files/folders 的 copy/delete 使用 boto3 上的 hadoop/hdfs 命令？

Answer 1

是boto3会造成不一致。甚至 AWS CLI。

您需要在每次 copy/delete 操作后手动 sync 元数据。

使用 HDFS 命令 emrfs 将同步。