Cassandra 在预期 100k 时只插入一行
Cassandra only one row is inserted when expected 100k
我试图CQL Python driver
插入10万行,
# no_of_rows = 100k
for row in range(no_of_rows):
session.execute("INSERT INTO test_table (key1, key2, key3) VALUES ('test', 'test', 'test'"))
但是 test_table
中只插入了一行(使用 Cassandra CQL Shell
和 select * from test_table
),如何解决这个问题?
更新
如果我试过
for row in range(no_of_rows):
session.execute("INSERT INTO test_table (key1, key2, key3) VALUES ('test' + str(row), 'test', 'test'"))
没有插入行,这里key1
是主键。
describe test_table
,
CREATE TABLE test_keyspace.test_table (
key1 text PRIMARY KEY,
key2 text,
key3 text
) WITH bloom_filter_fp_chance = 0.01
AND caching = {'keys': 'ALL', 'rows_per_partition': 'NONE'}
AND comment = ''
AND compaction = {'class': 'org.apache.cassandra.db.compaction.SizeTieredCompactionStrategy', 'max_threshold': '32', 'min_threshold': '4'}
AND compression = {'chunk_length_in_kb': '64', 'class': 'org.apache.cassandra.io.compress.LZ4Compressor'}
AND crc_check_chance = 1.0
AND dclocal_read_repair_chance = 0.1
AND default_time_to_live = 0
AND gc_grace_seconds = 864000
AND max_index_interval = 2048
AND memtable_flush_period_in_ms = 0
AND min_index_interval = 128
AND read_repair_chance = 0.0
AND speculative_retry = '99PERCENTILE';
Cassandra 主键是唯一的。 100000 次就地写入相同的键会留下 1 行。
这意味着如果您的主键结构是 PRIMARY KEY(key1,key2,key3)
并且您 INSERT 'test','test','test'
100000 次...
...它将 'test','test','test'
写入同一分区 100000 次。
为了让您的 Python 代码正常工作,我做了一些调整,例如为 key
(key1) 创建一个单独的变量并使用准备好的语句:
pStatement = session.prepare("""
INSERT INTO test_table (key1, key2, key3) VALUES (?, ?, ?);
""")
no_of_rows=100000
for row in range(no_of_rows):
key='test' + str(row)
session.execute(pStatement,[key,'test','test'])
using Cassandra CQL Shell and select * from test_table
我不得不提一下,多键(一次查询多个分区键)和未绑定查询(没有 WHERE 子句的 SELECT)在 Cassandra 中是明确的 反模式。它们在 dev/test 环境中可能看起来工作正常。但是,当您到达具有数十个节点的生产规模集群时,这些类型的查询将在等式中引入大量网络时间,因为它们必须扫描每个节点以编译查询结果。
您的新代码在字符串连接方面存在错误。应该是:
for row in range(no_of_rows):
session.execute("INSERT INTO test_table (key1, key2, key3) VALUES ('test" + str(row) + "', 'test', 'test')")
我试图CQL Python driver
插入10万行,
# no_of_rows = 100k
for row in range(no_of_rows):
session.execute("INSERT INTO test_table (key1, key2, key3) VALUES ('test', 'test', 'test'"))
但是 test_table
中只插入了一行(使用 Cassandra CQL Shell
和 select * from test_table
),如何解决这个问题?
更新
如果我试过
for row in range(no_of_rows):
session.execute("INSERT INTO test_table (key1, key2, key3) VALUES ('test' + str(row), 'test', 'test'"))
没有插入行,这里key1
是主键。
describe test_table
,
CREATE TABLE test_keyspace.test_table (
key1 text PRIMARY KEY,
key2 text,
key3 text
) WITH bloom_filter_fp_chance = 0.01
AND caching = {'keys': 'ALL', 'rows_per_partition': 'NONE'}
AND comment = ''
AND compaction = {'class': 'org.apache.cassandra.db.compaction.SizeTieredCompactionStrategy', 'max_threshold': '32', 'min_threshold': '4'}
AND compression = {'chunk_length_in_kb': '64', 'class': 'org.apache.cassandra.io.compress.LZ4Compressor'}
AND crc_check_chance = 1.0
AND dclocal_read_repair_chance = 0.1
AND default_time_to_live = 0
AND gc_grace_seconds = 864000
AND max_index_interval = 2048
AND memtable_flush_period_in_ms = 0
AND min_index_interval = 128
AND read_repair_chance = 0.0
AND speculative_retry = '99PERCENTILE';
Cassandra 主键是唯一的。 100000 次就地写入相同的键会留下 1 行。
这意味着如果您的主键结构是 PRIMARY KEY(key1,key2,key3)
并且您 INSERT 'test','test','test'
100000 次...
...它将 'test','test','test'
写入同一分区 100000 次。
为了让您的 Python 代码正常工作,我做了一些调整,例如为 key
(key1) 创建一个单独的变量并使用准备好的语句:
pStatement = session.prepare("""
INSERT INTO test_table (key1, key2, key3) VALUES (?, ?, ?);
""")
no_of_rows=100000
for row in range(no_of_rows):
key='test' + str(row)
session.execute(pStatement,[key,'test','test'])
using Cassandra CQL Shell and
select * from test_table
我不得不提一下,多键(一次查询多个分区键)和未绑定查询(没有 WHERE 子句的 SELECT)在 Cassandra 中是明确的 反模式。它们在 dev/test 环境中可能看起来工作正常。但是,当您到达具有数十个节点的生产规模集群时,这些类型的查询将在等式中引入大量网络时间,因为它们必须扫描每个节点以编译查询结果。
您的新代码在字符串连接方面存在错误。应该是:
for row in range(no_of_rows):
session.execute("INSERT INTO test_table (key1, key2, key3) VALUES ('test" + str(row) + "', 'test', 'test')")