Python - 如何将包含 table 架构的 .txt/.csv 文件转换为 .avsc 文件
Python - How to convert .txt/.csv file holding table schema to .avsc file
需要将 table 模式（使用 describe\list 列）提取到 .txt 或 .csv 文件中，稍后想使用 [=32= 将这些文件转换为 .avsc（avro 模式）文件].
sample.txt:
COLUMN_NAME |TYPE_NAME|DEC&|NUM&|COLUM&|COLUMN_DEF|CHAR_OCTE&|IS_NULL&
航空公司 |CHAR |NULL|NULL|2 |NULL |4 |NO
AIRLINE_FULL |VARCHAR |NULL|NULL|24 |NULL |48 |YES
需要将sample.txt转换成sample.avsc
- 将 CSV 读入 python 字典
- 获取 header 部分到其他字典(header_dict)
- 创建空 dict(final_dict) 并附加类型、命名空间 reletad 并将行从 header_dict 传递到此 final_dict。
- 转储 final_dict 到文件，这将是你的 avsc
需要将 table 模式（使用 describe\list 列）提取到 .txt 或 .csv 文件中，稍后想使用 [=32= 将这些文件转换为 .avsc（avro 模式）文件].
sample.txt:
COLUMN_NAME |TYPE_NAME|DEC&|NUM&|COLUM&|COLUMN_DEF|CHAR_OCTE&|IS_NULL&
航空公司 |CHAR |NULL|NULL|2 |NULL |4 |NO AIRLINE_FULL |VARCHAR |NULL|NULL|24 |NULL |48 |YES
需要将sample.txt转换成sample.avsc
- 将 CSV 读入 python 字典
- 获取 header 部分到其他字典(header_dict)
- 创建空 dict(final_dict) 并附加类型、命名空间 reletad 并将行从 header_dict 传递到此 final_dict。
- 转储 final_dict 到文件，这将是你的 avsc