插入 MongoDB 返回无法编码对象

Question

我正在对来自 Python pandas DataFrame 的本地 MongoDB 进行相当简单的插入。本质上，我正在调用 datframe.loc[n].to_dict() 并直接从 df 获取我的字典。到目前为止一切都很好，直到我尝试插入，我得到了 'Cannot encode object'。直接查看 dict 显示一切看起来都很好但是后来（在写这个问题时）我突然检查了 dict 中的每个类型并发现一个长 ID 号已经转换为 numpy.int64 而不是一个简单的 int（当我手动创建了 dict，因为 int 会很好地插入）。

所以，我无法在 pandas 文档中找到任何关于向 to_dict 添加参数的内容，这将允许我覆盖此行为，虽然有蛮力方法可以解决此问题, 必须有更多 eloquent 方法来解决这个问题而不诉诸那种事情。

那么问题是，如何将数据帧的一行转换为字典以插入到 MongoDB 中，确保我只使用可接受的内容类型......或者，我可以在这里进一步备份并使用更简单的方法将数据框的每一行作为 Mongo?

内的文档

谢谢

根据要求，这是 post 的附录，其中包含我正在使用的数据样本。

{'Account Created': 'about 3 hours ago',
 'Followers': 13,
 'Following': 499,
 'Screen Name': 'XXXXXXXXXX',
 'Status': 'Alive',
 'Tweets': 12,
 'Twitter ID': 0000000000L}

这直接来自插入时出错的 to_dict 输出。我将其直接复制到 'test' 字典中，并且效果很好。如果我打印出每个字典的值，我会得到以下...

to_dict = ['Alive', 'a_aheref77', 'about 3 hours ago', 12, 13, 499, 0000000000L, ObjectId('551bd8cfae89e9370851aa64')]

test = ['Alive', 'XXXXXXXX', 'about 3 hours ago', 499, 13, 12, 0000000000, ObjectId('551bd6fdae89e9370851aa63')]

唯一的区别（据我所知）是 Long int，有趣的是，当我执行 Mongo 插入时，它显示该字段在文档中为 'Number Long'。希望这有助于澄清问题。

Answer 1

看看odo library. In particular, the mongodb docs。 Pandas 不太可能在不久的将来增加任何类型的 to_mongo 方法，所以 Odo 应该是这种功能的地方。这是一个简单的例子 DataFrame:

In [13]: import pandas as pd

In [14]: from odo import odo

In [15]: df = pd.DataFrame({'a': [1, 2, 3], 'b': list('abc')})

In [17]: m = odo(df, 'mongodb://localhost/db::t')

In [18]: list(m.find())
Out[18]:
[{u'_id': ObjectId('551bfb20362e696200d568d9'), u'a': 1, u'b': u'a'},
 {u'_id': ObjectId('551bfb20362e696200d568da'), u'a': 2, u'b': u'b'},
 {u'_id': ObjectId('551bfb20362e696200d568db'), u'a': 3, u'b': u'c'}]

您可以通过

获得所需的 deps 和 odo

conda install odo pymongo --channel blaze

或

pip install odo

Answer 2

Python整数存储为任意精度数，Mongodb不支持。您需要先将它们转换为普通的 int64 或字符串对象。当您手动复制并粘贴代码时，它起作用可能是因为 Python 解释器将整数正确转换为 int64。

插入 MongoDB 返回无法编码对象

Insert into MongoDB retuns cannot encode object

python

numpy

pandas

pymongo

blaze