汉字插入问题
Chinese character insert issue
我在 pandas
中有以下数据框
需要将所有值插入到带有中文字符的数据仓库中,但中文字符被插入为垃圾 (?????) ‰é™å…¬å¸
) 像上面一个
插入查询是动态准备的。
我需要有关如何处理以下场景的帮助:
以 UTF-8 格式读取文件并使用字符集 UTF-8 使用 pyodbc 连接写入数据仓库。
df=pd.read_csv(filename,dtype='str',encoding='UTF-8')
cnxn = database_connect() ##Connect to database##
cnxn.setencoding(ctype=pyodbc.SQL_CHAR, encoding='UTF-8')
cnxn.autocommit = True
cursor = cnxn.cursor()
for y in range(len(df)):
inst='insert into '+tablename+' values ('
for x in range(len(clm)):
if str(df.iloc[y,x])=='nan':
df.iloc[y,x]=''
if x!=len(clm)-1:
inst_val=inst_val+"'"+str(df.iloc[y,x]).strip().replace("'",'')+"'"+","
else:
inst_val=inst_val+"'"+str(df.iloc[y,x]).strip().replace("'",'')+"'"+")"
inst=inst+inst_val #########prepare insert statment from values inside in-memory data###########
inst_val=''
print("Inserting value into table")
try:
cursor.execute(inst) ##########Execute insert statement##############
print("1 row inserted")
except Exception as e:
print (inst)
print (e)
应将相同的值插入 sql 数据仓库
您正在使用 动态 SQL 构造包含汉字的字符串文字,但您将它们创建为
insert into tablename values ('你好')
当 SQL 服务器期望 Unicode 字符串文字的形式为
insert into tablename values (N'你好')
您最好使用适当的参数化查询来避免此类问题:
sql = "insert into tablename values (?)"
params = ('你好',)
cursor.execute(sql, params)
我在 pandas
中有以下数据框需要将所有值插入到带有中文字符的数据仓库中,但中文字符被插入为垃圾 (?????) ‰é™å…¬å¸ ) 像上面一个 插入查询是动态准备的。 我需要有关如何处理以下场景的帮助:
以 UTF-8 格式读取文件并使用字符集 UTF-8 使用 pyodbc 连接写入数据仓库。
df=pd.read_csv(filename,dtype='str',encoding='UTF-8')
cnxn = database_connect() ##Connect to database##
cnxn.setencoding(ctype=pyodbc.SQL_CHAR, encoding='UTF-8')
cnxn.autocommit = True
cursor = cnxn.cursor()
for y in range(len(df)):
inst='insert into '+tablename+' values ('
for x in range(len(clm)):
if str(df.iloc[y,x])=='nan':
df.iloc[y,x]=''
if x!=len(clm)-1:
inst_val=inst_val+"'"+str(df.iloc[y,x]).strip().replace("'",'')+"'"+","
else:
inst_val=inst_val+"'"+str(df.iloc[y,x]).strip().replace("'",'')+"'"+")"
inst=inst+inst_val #########prepare insert statment from values inside in-memory data###########
inst_val=''
print("Inserting value into table")
try:
cursor.execute(inst) ##########Execute insert statement##############
print("1 row inserted")
except Exception as e:
print (inst)
print (e)
应将相同的值插入 sql 数据仓库
您正在使用 动态 SQL 构造包含汉字的字符串文字,但您将它们创建为
insert into tablename values ('你好')
当 SQL 服务器期望 Unicode 字符串文字的形式为
insert into tablename values (N'你好')
您最好使用适当的参数化查询来避免此类问题:
sql = "insert into tablename values (?)"
params = ('你好',)
cursor.execute(sql, params)