将数据从 QlikSense 云导出到 AWS S3 存储桶

Export data from QlikSense cloud to AWS S3 bucket

我正在尝试创建一个管道以将 Qliksense 应用程序数据导出到 AWS S3 存储桶,但不确定我是否可以直接执行此操作。

我尝试了两个选项:

  1. 使用export API将数据导出为qvf到本地磁盘,然后通过python脚本连接到S3并推送数据。

2.Store 在本地使用 qliksense 脚本将数据作为 csv,然后推送到 S3。

基本上我理想的解决方案是使用单个 python 脚本连接到 Qliksense,读取数据,转换为 csv 并导出到 S3。

任何 ideas/code/approach 都会有所帮助。

Qliksense 是一个消费数据和显示的工具,一般情况下,但在需要的时候

STORE INTO vFile (text);

是简单的选择。这样你就会得到保存在驱动器上的 csv 文件。如果您在同一台机器上使用 运行ning python 脚本很容易,因为您可以执行语句,该语句可以 运行 python 脚本并使用 boto3 库将其存储到 s3。

否则只需使用网络驱动器,然后在 cron 中通过 python 将数据从那里放入 s3。

最后一个选项是在 qliksense 服务器上您可以映射 s3 存储桶。像 TnTDrive 这样的工具很少。

很大程度上取决于您的基础架构。