使用 python 读取复杂的 CSV 文件

Question

我不知道如何给这个问题起标题，所以如果需要重命名，请通知我，我会的。

我正在读取一个 csv 文件，该文件是我从用于测量的一台设备上保存下来的。数据和其他各种关键信息都被保存下来。我整天都在为此工作，但我无法弄清楚如何正确地从该文件中检索每条信息。我需要访问每个 data/information 并在这样做之后绘制数据并读取其他各种信息，如 data/timestamp/timezone/modelnumber/serialnumber 等等......如果这个问题太笼统，我深表歉意，但我'我不知道如何解决这个问题。

我已经输入了几个版本的代码，所以我将只列出我能够开始工作的部分。我不知道为什么我必须使用 sep=delimiter。我认为 delimiter=',' 会起作用，但它不起作用。我从研究中发现 header=none 因为我的文件没有标题。

Canopy 告诉我引擎 'C' 将无法工作，因此我指定 'python'。从这段代码的输出来看，它似乎捕获了一切。但它告诉我我只有一列，不知道如何分离出所有这些信息。

这是我的 csv 文件的一部分。

    ! FILETYPE CSV              
    ! VERSION 1.0   1           
    ! TIMESTAMP Friday   15 April 2016 04:50:05         
    ! TIMEZONE (GMT+08:00) Kuala Lumpur  Singapore          
    ! NAME Keysight Technologies                
    ! MODEL N9917A              
    ! SERIAL US52240515             
    ! FIRMWARE_VERSION A.08.05              
    ! CORRECTION                
    ! Application SA                
    ! Trace TIMESTAMP: 2016-04-15 04:50:05Z             
    ! Trace GPS Info...             
    ! GPS Latitude:                 
    ! GPS Longitude:                
    ! GPS Seconds Since Last Read: 0                
    ! CHECKSUM 1559060681               
    ! DATA Freq SA Max Hold SA Blank    SA Blank    SA Blank
    ! FREQ UNIT Hz              
    ! DATA UNIT dBm             
    BEGIN               
    2000000000,-62.6893499803169,0,0,0
    2040000000,-64.1528386206532,0,0,0
    2080000000,-63.7751897198055,0,0,0
    2120000000,-63.663056855945,0,0,0
    2160000000,-64.227155790167,0,0,0
    2200000000,-63.874804848758,0,0,0
    END

这是我的代码：

import pandas as pd
df = pd.read_csv('/Users/_XXXXXXXXX_/Desktop/TP1_041416_C.csv',
    sep='delimter',
    header=None,
    engine='python')

Answer 1

更新： - 此版本将首先读取和解析 header 部分，它将根据解析的 header 生成 info 字典并将为 pd.read_csv() 函数

准备 skiprows 列表

from collections import defaultdict
import io
import re
import pandas as pd
import pprint as pp

fn = r'D:\temp\.data671176.data'

def parse_header(filename):
    """
    parses useful (check `header_flt` variable) information from the header
           and saves it into `defaultdict`,
    generates `skiprow` list for `pd.read_csv()`,
    breaks after parsing the header, so the data block will NOT be read

    returns: parsed info as defaultdict obj, skiprows list    
    """
    # useful header information that will be saved into defaultdict
    header_flt = r'TIMESTAMP|TIMEZONE|NAME|MODEL|SERIAL|FIRMWARE_VERSION|Trace TIMESTAMP:'

    with open(fn) as f:
        d = defaultdict(list)
        i = 0
        skiprows = []
        for line in f:
            line = line.strip()
            if line.startswith('!'):
                skiprows.append(i)
                # parse: `key` (first RegEx group)
                #    and `value` (second RegEx group)
                m = re.search(r'!\s+(' + header_flt + ')\s+(.*)\s*', line)
                if m:
                    # print(m.group(1), '->', m.group(2))
                    # save parsed `key` and `value` into defaultdict
                    d[m.group(1)] = m.group(2)
            elif line.startswith('BEGIN'):
                skiprows.append(i)
            else:
                # stop loop if line doesn't start with: '!' or 'BEGIN'
                break
            i += 1
        return d, skiprows

info, skiprows = parse_header(fn)

# parses data block, the header part will be skipped
# NOTE: `comment='E'` - will skip the footer row: "END"
df = pd.read_csv(fn, header=None, usecols=[0,1], names=['freq', 'dBm'],
                 skiprows=skiprows, skipinitialspace=True, comment='E',
                 error_bad_lines=False)

print(df)
print('-' * 60)
pp.pprint(info)

旧版本： - 读取内存中的整个文件并解析它。它可能会导致大文件出现问题，因为它将为整个文件内容分配内存 plus 结果 DF:

from collections import defaultdict
import io
import re
import pandas as pd
import pprint as pp

fn = r'D:\temp\.data671176.data'

header_pat = r'(TIMESTAMP|TIMEZONE|NAME|MODEL|SERIAL|FIRMWARE_VERSION)\s+([^\r\n]*?)\s*[\r\n]+'

def parse_file(filename):
    with open(fn) as f:
        txt = f.read()

    m = re.search(r'BEGIN\s*[\r\n]+(.*)[\n\r]+END', txt, flags=re.DOTALL|re.MULTILINE)
    if m:
        data = m.group(1)
        df = pd.read_csv(io.StringIO(data), header=None, usecols=[0,1], names=['freq', 'dBm'])
    else:
        df = pd.DataFrame()

    d = defaultdict(list)
    for m in re.finditer(header_pat, txt, flags=re.S|re.M):
        d[m.group(1)] = m.group(2)

    return df, d

df, info = parse_file(fn)
print(df)
pp.pprint(info)

输出：

         freq        dBm
0  2000000000 -62.689350
1  2040000000 -64.152839
2  2080000000 -63.775190
3  2120000000 -63.663057
4  2160000000 -64.227156
5  2200000000 -63.874805
defaultdict(<class 'list'>,
            {'FIRMWARE_VERSION': 'A.08.05',
             'MODEL': 'N9917A',
             'NAME': 'Keysight Technologies',
             'SERIAL': 'US52240515',
             'TIMESTAMP': 'Friday   15 April 2016 04:50:05',
             'TIMEZONE': '(GMT+08:00) Kuala Lumpur  Singapore'})

使用 python 读取复杂的 CSV 文件

reading a complicated CSV file with python

python

csv

dataframe

pandas

canopy