关于google数据融合的一些问题
Some questions about google Data fusion
我正在探索这个工具,但我有一些问题:
-(Source, Sink) 中的 File 类型到底是什么意思,
- 是否也可以将管道的结果直接发送到 FTP 服务器
我查看了文档,但没有找到此信息
谢谢
简短回答:文件是指管道 运行 所在的文件系统。在 Data Fusion 上下文中,如果您使用的是文件接收器,则内容将写入 Dataproc 集群上的 HDFS。
Data Fusion 具有可用于写入 SFTP 的 SFTP 放置操作。这是一个简单的管道,说明如何从 GCS 写入 SFTP。
第 1 步:GCS 源到文件接收器 - 当管道为 运行 时,这会将 GCS 的内容写入 Dataproc 上的 HDFS
第 2 步:SFTP Put 操作,获取文件接收器的输出并上传到 SFTP。
您需要将File的输出路径配置为SFTP中的源路径
我正在探索这个工具,但我有一些问题:
-(Source, Sink) 中的 File 类型到底是什么意思, - 是否也可以将管道的结果直接发送到 FTP 服务器
我查看了文档,但没有找到此信息
谢谢
简短回答:文件是指管道 运行 所在的文件系统。在 Data Fusion 上下文中,如果您使用的是文件接收器,则内容将写入 Dataproc 集群上的 HDFS。
Data Fusion 具有可用于写入 SFTP 的 SFTP 放置操作。这是一个简单的管道,说明如何从 GCS 写入 SFTP。
第 1 步:GCS 源到文件接收器 - 当管道为 运行 时,这会将 GCS 的内容写入 Dataproc 上的 HDFS 第 2 步:SFTP Put 操作,获取文件接收器的输出并上传到 SFTP。
您需要将File的输出路径配置为SFTP中的源路径