调试 Firehose 未交付给 Redshift 的原因

Question

我设置了一个将数据传送到我的 Redshift 集群的 Firehose 流。它工作了一小段时间，但突然似乎停止向红移交付。来自我的

select * from stl_query order by endtime desc limit 10;
select * from stl_load_errors order by starttime desc;
select * from stl_connection_log where remotehost like '52%' order by recordtime desc; 
select * from stl_error where userid!=0 order by recordtime desc;

运行这些命令没有列出最近的连接或副本。例如我看到：

disconnecting session  ... 52.70.63.204  ...         
initiating session   ...    52.70.63.204      ...

... 在我的连接日志中，但它会在一定时间后停止。我已经尝试重新创建 table 和流，但它仍然没有列出任何内容。然而，我所有的数据都在 S3 中接收。
另一个问题是 s3 目录中没有错误清单，表明没有失败。
我该如何调试？

Answer 1

找到了我的案例的答案。我已经使用 VPC 组配置了 redshift 集群。如果没有白名单访问，连接尝试将不会显示在 stl_connection_log 中。我在我的 redshift 集群的 vpc 组中添加了一个 Firehose 条目：

Custom TCP Rule, TCP, 5493, 52.70.63.192/27

白名单 ip 可以在底部找到：http://docs.aws.amazon.com/firehose/latest/dev/controlling-access.html

调试 Firehose 未交付给 Redshift 的原因

Debug why Firehose is not delivering to Redshift

amazon-redshift

amazon-kinesis-firehose