DSE Analytics Spark 中的无效列名错误

Question

我有一个table，结构大致如下->

CREATE TABLE keyspace_name.table_name (
  id text PRIMARY KEY,
  type text,
  bool_yn boolean,
  created_ts timestamp,
  modified_ts timestamp
)

最近我在 table ->

中添加了新专栏

alter table keyspace_name.table_name first_name text;

当我在 cqlsh 中查询 table 中的给定列时，它会给出结果。例如

select first_name from keyspace_name.table_name limit 10;

但是如果我尝试在 dse spark-sql

中执行相同的查询

它给我以下错误。

Error in query: cannot resolve 'first_name' given input columns: [id, type, bool_yn, created_ts, modified_ts];

我不知道spark-sql有什么问题。我试过 nodetool repair 但问题仍然存在

如有任何帮助，我们将不胜感激。谢谢

Answer 1

如果 table 架构更改，Spark 元存储不会自动刷新架构更改，因此使用 [=10= 从 spark sql 中手动删除旧的 tables ] 命令，然后运行 SHOW TABLES。将自动创建具有最新架构的新 table。这不会更改 Cassandra 中的数据。

Invalid Column name Error in DSE Analytics Spark