如何在数据文件上使用生成器将 JSON 和 TSV 行转换为数据帧？

Question

我有一个“.data”文件，其中包含下面这两个示例行。第一行表示 json，第二行表示 tsv。我想将 json 转换为 python 字典，将 tsv 行转换为 python 字典，然后使用生成器将两者输出到数据帧中。

###“.DATA”文件的样本行###

{"Book": "American Horror", "Author": "Me", "date": "12/12/2012", publisher": "Fox"
Sports Law  Some Body   06/12/1999  Random House 1000

import json

def generator(file):
    
    for row in open(file, encoding="ISO-8859-1"):
        print(row)
        if "{" in row:
            yield json.loads(row)
        else:
###I don't know where to begin with the tsv data
###tsv data must fit under column names of json data
            for tsv in row:
                yield tsv
file = ".data_file"        
with open(file,'r') a some_stuff:
    df = pd.DataFrame(data=generator(some_stuff))
df
'''

Answer 1

通过“TSV”，我假设您的数据是 tab 分隔的，即字段由单个制表符分隔。如果是这种情况，您可以使用 str.split('\t') 来分解字段，如下所示：

>>> line = 'Sports Law\tSome Body\t06/12/1999\tRandom House 1000\n'
>>> line.rstrip().split('\t')
['Sports Law', 'Some Body', '06/12/1999', 'Random House 1000']

rstrip() 用于删除您将从文件中读取的行末尾的新行。

然后创建一个字典并生成它：

book, author, date, publisher = line.rstrip().split('\t')
yield dict(Book=book, Author=author, date=date, publisher=publisher)

或者如果您已经有了列名列表：

columns = ['Book', 'Author', 'date', 'publisher']

yield dict(zip(columns, line.rstrip().split('\t')))

如何在数据文件上使用生成器将 JSON 和 TSV 行转换为数据帧？

How Do I Use a Generator on a Data File to Convert JSON and TSV Rows Into a Dataframe?

python

pandas

generator

yield

data-files