pandas 读取 IRS space 分隔的 txt 数据

Question

我最近在处理 IRS 税务文件数据。它是 space 分隔的 txt 数据，如下所示（完整数据为 here）：

数据的存储方式存在一些模式。但对我来说，数据的格式不是标准的，读入 Pandas 并不容易。我想知道如何从上面的 txt 数据中获取如下数据框：

+------------+-------------+--------------------------+-----+-----+-----+------+
| fips_state | fips_county |           name           | c1  | c2  | c3  |  c4  |
+------------+-------------+--------------------------+-----+-----+-----+------+
|         02 |         013 | Aleutians East Borough T | 145 | 280 | 416 | 1002 |
|         02 |         016 | Aleutians West Total Mig | 304 | 535 | 991 | 2185 |
|        ... |         ... | ...                      | ... | ... | ... |  ... |
+------------+-------------+--------------------------+-----+-----+-----+------+

Answer 1

这将使您在 pandas 内或在创建列表之前将数据放入两个单独数据框中的列中。解析后合并两个数据帧。

import urllib.request  # the lib that handles the url stuff

target_url='https://raw.githubusercontent.com/shuai-zhou/DataRepo/master/data/C9091aki.txt'
list_a = []
list_b = []
for line in urllib.request.urlopen(target_url):
    if line.decode('utf-8')[0:2] != '  ':
        print(line.decode('utf-8').strip())
        list_a.append(line.decode('utf-8').strip())
    if line.decode('utf-8')[0:5] == '     ':
        print(line.decode('utf-8').strip())
        list_b.append(line.decode('utf-8').strip())
 
dfa = pd.DataFrame(list_a)
dfb = pd.DataFrame(list_b)

pandas 读取 IRS space 分隔的 txt 数据

pandas read IRS space-delimited txt data

pandas

txt