Python: 从 csv 中删除非 ascii 字符

Question

我有一个 csv 文件，4000 条记录中只有 4 条有一些非 ASCII 字符。例如

['com.manager', '2016012300', '16.1.23', 'en', 'kinzie', '2015-04-11T17:36:23Z', '1428773783781', '2016-03-11T09:53:45Z', 'df', '5', "\xa5\x06`'", '\xc0\x03"', '\xa2{\xac ===]\xa9}\xf7\xf7\xf7\xf7\xf7\xf7\xf7\xf7\xf7\xf7\xf7\xf7\xf7&gt;', '', '', '', 'https://play.google.com/apps/publish?account=sd#ReviewDetailsPlace:p=com.manager&reviewid=gp:AOqpTOEcQQGmjFcd-bFfU372DTrxh']

我正在使用以下 python 代码来读取 csv

with open('/Users/duttaam/Downloads/test1.csv', 'rU') as csvfile:
    reader_obj = csv.reader(x.replace('[=12=]', '') for x in csvfile)
    rownum=0
    for row in reader_obj:
        rownum += 1
        if len(row) != 16:
            print rownum
            print row

对于四行，reader 显示的列号不一致。但是当我计算这些行中的分隔符 (,) 时，它显示正常。我能看到的唯一问题是非 ascii 字符，如上一行所示的示例行。我猜这些是一些表情符号转换成一些字符。

我想出了一个函数来从字符串中删除不可打印的字符我如何将其应用于整个 csv？（感谢以下 post:Stripping non printable characters from a string in python）

def removeSpecialcahr(s):
        printable = set(string.printable)
        return filter(lambda x: x in printable, s)

有没有办法处理 csv 并删除所有不可打印的 and/or 非 ascii 字符？

Answer 1

要从您的文件中删除非 ASCII 字符，请将您的 open 调用替换为 codecs.open()。您还可以定义自己的错误处理程序...:[=13=]

import codecs
codecs.open('file.csv', 'r', encoding='ascii', errors='ignore')

Python: 从 csv 中删除非 ascii 字符

Python: Remove non ascii characters from csv

python

csv

non-ascii-characters