如何使用 BDM(Informatica) 将文件从本地文件系统复制到 hdfs 文件系统?

how to copy a file from local filesystem to hdfs file system using BDM(Informatica)?

我正在使用 Informatica 版本 10.2.1 并使用 BDM 我想将文件从本地文件系统复制并粘贴到 HDFS 文件系统。我是 BDM 的新手,不知道该怎么做。

目前我已经创建了一个对象并填充了Read和Write参数。我同时使用 Input TypeOutput Type 作为 command 并发出命令 hdfs dfs -copyFromLocal -f /tmp/x.csv /tmp/x

非常感谢任何帮助。

编辑

正在粘贴错误图片。

Command Informatica 中的输入类型用于读取数据。就像 cat filename.txt 流出数据以供 Informatica 读取并进一步处理。 这并不意味着 执行 一个 shell 命令任务。为此,您应该在工作流程中使用 Command task

ETL 工具从一个源读取数据,执行转换,然后写入另一个地方,称为目标。

您在这里尝试做的是完全不同的事情,与 ETL 无关。也许您可以使用简单的 shell 脚本?

如果您仍然希望以正确的方式使用 Informatica 完成此操作,则需要定义源、定义目标并映射数据端口。有问题再回来。

最后一点:您需要确保集成服务器可以访问源位置。好像是你的本地文件,可能无法从远程服务器访问。

在 BDM 10.2.1 中,您可以拥有典型的源到目标流。对于您的场景,您可以将平面文件定义为源,将 HDFS 定义为目标。 BDM 是一个企业 etl 工具,可以与 hadoop 一起使用 framework.You 除了点源到平面文件连接之外,还需要为目标设置 hdfs 连接。 连接图像

1 https://i.stack.imgur.com/5G0Jr.png

映射图像: