带有 Snappy 压缩的 Avro

Question

将 *.dat 文件转换为 *.avro 的任何指针，后者在 .NET Framework 4.5 中使用 Snappy 压缩。我想在我的 Hive 中使用 avro 文件。配置单元是否支持开箱即用的 Avro 格式。我需要提到 serde 来读取 avro 文件吗

Answer 1

Hive 开箱即用地支持 Avro：https://cwiki.apache.org/confluence/display/Hive/AvroSerDe

您可以在 Hive 中定义 Avro 表，类似于：

  CREATE TABLE kst
      PARTITIONED BY (ds string)
      ROW FORMAT SERDE
      'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
      STORED AS INPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
      OUTPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
      TBLPROPERTIES (
        'avro.schema.url'='http://schema_provider/kst.avsc');

或者从 Hive 0.14 开始，类似于：

CREATE TABLE kst (
    string1 string,
    string2 string
  )
  PARTITIONED BY (ds string)
  STORED AS AVRO;

带有 Snappy 压缩的 Avro

Avro with Snappy Compression

c#

compression

hive

avro

azure-hdinsight