Greenplum报错-输入路径不存在

Question

我们有小型 gpdb 集群。当我尝试使用来自 gpdb master 的 'gphdfs' 协议读取外部 table 时。环境

产品版本关键 Greenplum (GPDB) 4.3.8.2 OS 中心 6.5

获取错误：

prod=# select * from ext_table;                                                                                      ERROR:  external table gphdfs protocol command ended with error. 16/10/05 14:42:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  (seg0 slice1 host.domain.com:40000 pid=25491)
DETAIL:

Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://path/to/hdfs
        at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:285)
        at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:340)
        at com.
Command: 'gphdfs://path/to/hdfs'
External table tableame, file gphdfs://path/to/hdfs

我们试过：在 Greenplum 主机上关注 link https://discuss.pivotal.io/hc/en-us/articles/219403388-How-to-eliminate-error-message-WARN-util-NativeCodeLoader-Unable-to-load-native-hadoop-library-for-your-platform-with-gphdfs

命令结果

按照 Link 中的建议更改 "Hadoop-env.sh" 中的内容后，它不起作用。仍然抛出相同的 error.Do 我需要重新启动 gpdb 以影响更改 "Hadoop-env.sh"。

或者

是否有其他方法来处理 gphdfs 协议错误？

如有任何帮助，我们将不胜感激？

附件是外部失败的 DDL Table

create external table schemaname.exttablename(
"ID" INTEGER,
time timestamp without time zone,
"SalesOrder" char(6),
"NextDetailLine" decimal(6),
"OrderStatus" char(1),

)
location('gphdfs://hadoopmster.com:8020/devgpdb/filename.txt') FORMAT 'text'

Answer 1

能否请您提供失败的外部 table DDL。另外请确保 gpadmin 用户有权访问 hdfs 路径以读取和写入数据。谢谢普拉西什·奈尔

Answer 2

只需运行在客户站点进行此操作。这篇 Pivotal 支持文章提供了答案： https://discuss.pivotal.io/hc/en-us/articles/219403388-How-to-eliminate-error-message-WARN-util-NativeCodeLoader-Unable-to-load-native-hadoop-library-for-your-platform-with-gphdfs

Greenplum报错-输入路径不存在

Greenplum Error-Input path does not exist

hadoop

greenplum

hawq