使用spark连接器读写aws keypace的问题

Question

我正在尝试在 aws 键空间上读写一些数据，但出现以下消息。

版本：火花：2.4.6 卡桑德拉连接器：2.5.2 斯卡拉：2.11.10

新旧版本问题也会出现

Answer 1

此错误是因为无法看到 system.peers table。 Spark 需要节点 table 信息来获取令牌信息。

检查他们是否有权读取系统 tables。如果您使用的是 public 端点，则应该有 9 个；如果您使用的是 VPCE，则每个可用区应该有一个。
SELECT * FROM system.peers

如果您使用的是 vpc 端点，请检查您是否已设置 the right permissions。

 {
         "Sid":"ListVPCEndpoints",
         "Effect":"Allow",
         "Action":[
            "ec2:DescribeNetworkInterfaces",
            "ec2:DescribeVpcEndpoints"
         ],
         "Resource":"*"
      }

下面的例子是如何使用Spark/Glue将Keyspaces数据导出到S3。 https://github.com/aws-samples/amazon-keyspaces-examples/tree/main/scala/datastax-v4/aws-glue/export-to-s3

使用spark连接器读写aws keypace的问题

Problem to read and write aws keypace with spark connector

apache-spark

spark-cassandra-connector

amazon-keyspaces