如何使用 postgresql 作为来自 python 的键值存储?
How to use postgresql as key-value store from python?
我的 key/value 商店需要从 gdbm to postgresql 转换。
看来我得换
import dbm.gnu
def get_value(db, key):
return json.loads(db[key])
db = dbm.gnu.open(...)
v = get_value(db, "foo")
和
import sqlalchemy
from sqlalchemy import Column, Text
from sqlalchemy.dialects.postgresql import JSONB
db = sqlalchemy.create_engine("...")
engine = db.connect()
meta = sqlalchemy.MetaData(engine)
id_col = Column('id', Text, primary_key=True)
data_col = Column('data', JSONB)
sqlalchemy.Table("my_table", meta, id_col, data_col)
meta.create_all()
# populate the table with 40M "id"-->JSON records
engine.execute(
my_table.update(),
id="foo",
data={"a":3, "b":17, "c":[2,6,0]})
my_table = sqlalchemy.table("my_table", id_col, data_col)
def get_value(db, key):
res = engine.execute(db.select().where(db.c.id == key)).fetchall()
assert len(res) == 1
return res[0][1]
v = get_value(my_table)
这看起来有点可怕(特别是如果我添加 echo
并看到所有 SQL
为这些简单的键值操作生成)。
有没有更好的方法?
PS。我也可以直接使用 psycopg
instead of sqlalchemy
,但这会让我写成 SQL myself ;-(
您不得将 postgresql 用作键值存储。
键值存储(极少数情况除外)是围绕基于键组合的模式构建的,该模式以多维方式布置数据 space,可能会或可能不会直接映射 [=17= 的概念] tables。换句话说,键值存储中存在一个数据库抽象。
没有足够的信息可说,只需将键值存储替换为 2 列 table。如果你这样做,你很可能会两全其美。
我的 key/value 商店需要从 gdbm to postgresql 转换。
看来我得换
import dbm.gnu
def get_value(db, key):
return json.loads(db[key])
db = dbm.gnu.open(...)
v = get_value(db, "foo")
和
import sqlalchemy
from sqlalchemy import Column, Text
from sqlalchemy.dialects.postgresql import JSONB
db = sqlalchemy.create_engine("...")
engine = db.connect()
meta = sqlalchemy.MetaData(engine)
id_col = Column('id', Text, primary_key=True)
data_col = Column('data', JSONB)
sqlalchemy.Table("my_table", meta, id_col, data_col)
meta.create_all()
# populate the table with 40M "id"-->JSON records
engine.execute(
my_table.update(),
id="foo",
data={"a":3, "b":17, "c":[2,6,0]})
my_table = sqlalchemy.table("my_table", id_col, data_col)
def get_value(db, key):
res = engine.execute(db.select().where(db.c.id == key)).fetchall()
assert len(res) == 1
return res[0][1]
v = get_value(my_table)
这看起来有点可怕(特别是如果我添加 echo
并看到所有 SQL
为这些简单的键值操作生成)。
有没有更好的方法?
PS。我也可以直接使用 psycopg
instead of sqlalchemy
,但这会让我写成 SQL myself ;-(
您不得将 postgresql 用作键值存储。
键值存储(极少数情况除外)是围绕基于键组合的模式构建的,该模式以多维方式布置数据 space,可能会或可能不会直接映射 [=17= 的概念] tables。换句话说,键值存储中存在一个数据库抽象。
没有足够的信息可说,只需将键值存储替换为 2 列 table。如果你这样做,你很可能会两全其美。