如何使用 python 将 iso 8859-1 转换为简单字母

Question

我正在尝试使用 python 清理我的 sqlite 数据库。起初我使用这段代码加载：导入 sqlite3，pandas 作为 pd con = sqlite3.connect("DATABASE.db")

import sqlite3, pandas as pd    
df = pd.read_sql_query("SELECT TITLE from DOCUMENT", con)

所以我得到了脏话。例如这个“Conciliaci3n”我想得到“Conciliacion”。我使用了这段代码：

df['TITLE']=df['TITle'].apply(lambda x: x.decode('iso-8859-1').encode('utf8'))

我在空白单元格中得到了 b''。也得到了 'Conciliaci\363n'。所以也许我做错了。我怎么解决这个问题。提前致谢。

Answer 1

不清楚，但如果您的字符串包含文字反斜杠和数字，如下所示：

>>> s= r"Conciliaci3n"  # A raw string to make a literal escape code
>>> s
'Conciliaci\363n'         # debug display of string shows an escaped backslash
>>> print(s)
Conciliaci3n            # printing prints the escape

然后这将正确解码：

>>> s.encode('ascii').decode('unicode-escape')  # convert to byte string, then decode
'Conciliación'

如果您想像您的问题所示那样丢失重音符号，则分解 Unicode 字符串，转换为 ASCII 忽略错误，然后再转换回 Unicode 字符串即可：

>>> s2 = s.encode('ascii').decode('unicode-escape')
>>> s2
'Conciliación'
>>> import unicodedata as ud
>>> ud.normalize('NFD',s2) # Make Unicode decomposed form
'Conciliación'              # The ó is now an ASCII 'o' and a combining accent
>>> ud.normalize('NFD',s2).encode('ascii',errors='ignore').decode('ascii')
'Conciliacion'   # accent isn't ASCII, so is removed

如何使用 python 将 iso 8859-1 转换为简单字母

How to convert iso 8859-1 in simple letter using python

sqlite

iso-8859-1

python-3.x

pandas