如何使用 BDM(Informatica) 将文件从本地文件系统复制到 hdfs 文件系统?
how to copy a file from local filesystem to hdfs file system using BDM(Informatica)?
我正在使用 Informatica 版本 10.2.1 并使用 BDM 我想将文件从本地文件系统复制并粘贴到 HDFS 文件系统。我是 BDM 的新手,不知道该怎么做。
目前我已经创建了一个对象并填充了Read和Write参数。我同时使用 Input Type
和 Output Type
作为 command
并发出命令 hdfs dfs -copyFromLocal -f /tmp/x.csv /tmp/x
非常感谢任何帮助。
编辑
正在粘贴错误图片。
Command
Informatica 中的输入类型用于读取数据。就像 cat filename.txt
流出数据以供 Informatica 读取并进一步处理。
这并不意味着 执行 一个 shell 命令任务。为此,您应该在工作流程中使用 Command task
。
ETL 工具从一个源读取数据,执行转换,然后写入另一个地方,称为目标。
您在这里尝试做的是完全不同的事情,与 ETL 无关。也许您可以使用简单的 shell 脚本?
如果您仍然希望以正确的方式使用 Informatica 完成此操作,则需要定义源、定义目标并映射数据端口。有问题再回来。
最后一点:您需要确保集成服务器可以访问源位置。好像是你的本地文件,可能无法从远程服务器访问。
在 BDM 10.2.1 中,您可以拥有典型的源到目标流。对于您的场景,您可以将平面文件定义为源,将 HDFS 定义为目标。 BDM 是一个企业 etl 工具,可以与 hadoop 一起使用 framework.You 除了点源到平面文件连接之外,还需要为目标设置 hdfs 连接。
连接图像
1 https://i.stack.imgur.com/5G0Jr.png
映射图像:
我正在使用 Informatica 版本 10.2.1 并使用 BDM 我想将文件从本地文件系统复制并粘贴到 HDFS 文件系统。我是 BDM 的新手,不知道该怎么做。
目前我已经创建了一个对象并填充了Read和Write参数。我同时使用 Input Type
和 Output Type
作为 command
并发出命令 hdfs dfs -copyFromLocal -f /tmp/x.csv /tmp/x
非常感谢任何帮助。
编辑
正在粘贴错误图片。
Command
Informatica 中的输入类型用于读取数据。就像 cat filename.txt
流出数据以供 Informatica 读取并进一步处理。
这并不意味着 执行 一个 shell 命令任务。为此,您应该在工作流程中使用 Command task
。
ETL 工具从一个源读取数据,执行转换,然后写入另一个地方,称为目标。
您在这里尝试做的是完全不同的事情,与 ETL 无关。也许您可以使用简单的 shell 脚本?
如果您仍然希望以正确的方式使用 Informatica 完成此操作,则需要定义源、定义目标并映射数据端口。有问题再回来。
最后一点:您需要确保集成服务器可以访问源位置。好像是你的本地文件,可能无法从远程服务器访问。
在 BDM 10.2.1 中,您可以拥有典型的源到目标流。对于您的场景,您可以将平面文件定义为源,将 HDFS 定义为目标。 BDM 是一个企业 etl 工具,可以与 hadoop 一起使用 framework.You 除了点源到平面文件连接之外,还需要为目标设置 hdfs 连接。 连接图像
1 https://i.stack.imgur.com/5G0Jr.png
映射图像: