文件未使用流集从本地加载到 HDFS(已成功验证!)
File is not Loaded Into HDFS from Local Using Streamsets (validated Successfully!)
我刚刚开始使用流集,我正在尝试将文本文件从本地加载到 HDFS。
请注意:我正在使用 Cloudera Manager,这里是 "core-site.xml":
的视图
<property>
<name>hadoop.ssl.server.conf</name>
<value>ssl-server.xml</value>
<final>true</final>
</property>
<property>
<name>hadoop.ssl.client.conf</name>
<value>ssl-client.xml</value>
<final>true</final>
</property>
<property>
<name>hadoop.proxyuser.sdc.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.sdc.groups</name>
<value>*</value>
</property>
</configuration>
本地文件是存储在“/home/cloudera/Desktop”的文本文件。
这是 Streamsets 中源(本地)配置的视图:
这是 Streamsets 中 Hadoop fs 配置的视图:
验证成功!
在我播放pipline之后,我应该在我指定的HDFS目录中找到文件,特别是在“/user/cloudera”。
但是当我运行它时,文件还没有被加载。
我确定我错过了什么,而且我找不到答案。
你能帮忙吗?
谢谢,
您需要播放管道,而不仅仅是验证它。
我刚刚开始使用流集,我正在尝试将文本文件从本地加载到 HDFS。 请注意:我正在使用 Cloudera Manager,这里是 "core-site.xml":
的视图<property>
<name>hadoop.ssl.server.conf</name>
<value>ssl-server.xml</value>
<final>true</final>
</property>
<property>
<name>hadoop.ssl.client.conf</name>
<value>ssl-client.xml</value>
<final>true</final>
</property>
<property>
<name>hadoop.proxyuser.sdc.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.sdc.groups</name>
<value>*</value>
</property>
</configuration>
本地文件是存储在“/home/cloudera/Desktop”的文本文件。
这是 Streamsets 中源(本地)配置的视图:
这是 Streamsets 中 Hadoop fs 配置的视图:
验证成功!
在我播放pipline之后,我应该在我指定的HDFS目录中找到文件,特别是在“/user/cloudera”。
但是当我运行它时,文件还没有被加载。
我确定我错过了什么,而且我找不到答案。 你能帮忙吗?
谢谢,
您需要播放管道,而不仅仅是验证它。