在 Python 上使用 odo 函数将 'NA' 作为字符串插入 SQLite table

Question

考虑以下 CSV 格式的文件 (stock_prices.csv)：

Symbol,Price
RY,96.61
NA,58.69
BNS,80.35

当使用 Python 中的 odo 函数将 CSV 文件插入 SQLite 数据库时 table，NA 代码似乎被插入为None 值。

from odo import odo, dshape

input_csv = 'stock_prices.csv'
output_sqlite = 'sqlite:///stocks.db::stock_prices'
ds = dshape('var * {Symbol: string, Price: float64}')

odo(input_csv, output_sqlite, dshape=ds)

这是我用来查询 SQLite 数据库的代码。

DB_PATH = 'stocks.db'
cn = sqlite3.connect(DB_PATH)
c = cn.cursor()
c.execute("SELECT * FROM stock_prices")
for row in c.fetchall():
    print(row)

结果如下：

('RY', 96.61)
(None, 58.69)
('BNS', 80.35)

虽然我可以将符号为 None 的每一行更新为 'NA'，但我宁愿第一次就正确插入该行。

注意：我正在使用 odo 函数，因为对于我的实际项目，我将插入到 table 中的文件有几千兆字节那么大，包含大约 15 -20 列。 odo 对我来说似乎是在短时间内完成我需要做的事情的最快方法。

Answer 1

解决此问题的一种方法是使用 pandas 读取文件并指定 na_filter=False.

>>> import pandas as pd
>>> df = pd.read_csv('stock_prices.csv',na_filter=False)
>>> df
  Ticker  Price
0     RY  96.61
1     NA  58.69
2    BNS  80.35

并导入：

odo(df, output_sqlite, dshape=ds)

结果：

>>> for row in c.fetchall():
...     print(row)
...
(u'RY', 96.61)
(u'NA', 58.69)
(u'BNS', 80.35)

在 Python 上使用 odo 函数将 'NA' 作为字符串插入 SQLite table

Inserting 'NA' as a string into SQLite table using odo function on Python

python

csv

sqlite

odo