将数据从 QlikSense 云导出到 AWS S3 存储桶
Export data from QlikSense cloud to AWS S3 bucket
我正在尝试创建一个管道以将 Qliksense 应用程序数据导出到 AWS S3 存储桶,但不确定我是否可以直接执行此操作。
我尝试了两个选项:
- 使用export API将数据导出为qvf到本地磁盘,然后通过python脚本连接到S3并推送数据。
2.Store 在本地使用 qliksense 脚本将数据作为 csv,然后推送到 S3。
基本上我理想的解决方案是使用单个 python 脚本连接到 Qliksense,读取数据,转换为 csv 并导出到 S3。
任何 ideas/code/approach 都会有所帮助。
Qliksense 是一个消费数据和显示的工具,一般情况下,但在需要的时候
STORE INTO vFile (text);
是简单的选择。这样你就会得到保存在驱动器上的 csv 文件。如果您在同一台机器上使用 运行ning python 脚本很容易,因为您可以执行语句,该语句可以 运行 python 脚本并使用 boto3 库将其存储到 s3。
否则只需使用网络驱动器,然后在 cron 中通过 python 将数据从那里放入 s3。
最后一个选项是在 qliksense 服务器上您可以映射 s3 存储桶。像 TnTDrive 这样的工具很少。
很大程度上取决于您的基础架构。
我正在尝试创建一个管道以将 Qliksense 应用程序数据导出到 AWS S3 存储桶,但不确定我是否可以直接执行此操作。
我尝试了两个选项:
- 使用export API将数据导出为qvf到本地磁盘,然后通过python脚本连接到S3并推送数据。
2.Store 在本地使用 qliksense 脚本将数据作为 csv,然后推送到 S3。
基本上我理想的解决方案是使用单个 python 脚本连接到 Qliksense,读取数据,转换为 csv 并导出到 S3。
任何 ideas/code/approach 都会有所帮助。
Qliksense 是一个消费数据和显示的工具,一般情况下,但在需要的时候
STORE INTO vFile (text);
是简单的选择。这样你就会得到保存在驱动器上的 csv 文件。如果您在同一台机器上使用 运行ning python 脚本很容易,因为您可以执行语句,该语句可以 运行 python 脚本并使用 boto3 库将其存储到 s3。
否则只需使用网络驱动器,然后在 cron 中通过 python 将数据从那里放入 s3。
最后一个选项是在 qliksense 服务器上您可以映射 s3 存储桶。像 TnTDrive 这样的工具很少。
很大程度上取决于您的基础架构。