hive standalone Metastore 读取模式不工作的 avro 数据

Question

我们有 presto hive 访问 avro 格式的 s3 文件的用例。当我们尝试使用独立的 hive-metastore 并使用外部 table 读取此 avro 数据时，我们遇到问题 SerDeStorageSchemaReader class not found issue

    MetaException(message:org.apache.hadoop.hive.metastore.SerDeStorageSchemaReader class not found)
    at org.apache.hadoop.hive.metastore.utils.JavaUtils.getClass(JavaUtils.java:54)

我们知道出现此错误是因为 SerDeStorageSchemaReader class 在 standalone-metastore 中不可用。

我想知道可以运行 hive-metastore 不使用 hive/hadoop 或者还有其他选择吗？

Answer 1

独立配置单元不支持 avro。我们需要安装完整的 hadoop plus hive 版本并只启动 hive metastore 来修复它

hive standalone Metastore 读取模式不工作的 avro 数据

hive standalone metastore reading avro data with schema not working

hive

avro

hive-serde