在 Hadoop 中使用分布式缓存时出现异常

Question

我在主 class.

中使用了下面提到的分布式缓存代码

job.addCacheFile(new URI(args[2]));

下面提到的代码在 reduce class.

@Override
        protected void setup(Reducer<LongWritable, Text, Text, Text>.Context context) throws IOException, InterruptedException {
            super.setup(context);
            URI[] paths = context.getCacheFiles();
            if (paths.length > 0) {
                loadDeliveryStatusCodes(paths[0].toString());
            }
        }
        private void loadDeliveryStatusCodes(String file) {
            String strRead;
            BufferedReader reader = null;
            try {
                reader = new BufferedReader(new FileReader("./some"));
                while ((strRead = reader.readLine()) != null) {
                    String splitarray[] = strRead.split(",");
                    deliveryCodesMap.put(splitarray[0].trim(), splitarray[1].trim());
                }
            } catch (FileNotFoundException e) {
                e.printStackTrace();
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                try {
                    reader.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }

我遇到了下面提到的异常。

@@@@@@@@/user/DeliveryStatusCodes.txt 1
java.io.FileNotFoundException: ./some (No such file or directory)
    at java.io.FileInputStream.open0(Native Method)
    at java.io.FileInputStream.open(FileInputStream.java:195)
    at java.io.FileInputStream.<init>(FileInputStream.java:138)
    at java.io.FileInputStream.<init>(FileInputStream.java:93)
    at java.io.FileReader.<init>(FileReader.java:58)
    at com.hadoop.intellipaat.UserSMSDeliveryJob$USERNameSMSStatusCodeMapper.loadDeliveryStatusCodes(UserSMSDeliveryJob.java:95)

你的帮助将拯救我的一天。谢谢

Answer 1

您似乎缺少 args[2] 末尾的 #some。目前您有 /user/DeliveryStatusCodes.txt，但您应该有

/user/DeliveryStatusCodes.txt#some

没有它，FileReader 就是在字面上寻找 ./some，这当然不会存在。

或者您可以跳过别名（可选）并写入

new FileReader("/user/DeliveryStatusCodes.txt")

在 Hadoop 中使用分布式缓存时出现异常

Geting exception while using DistributedCache in Hadoop

hadoop

distributed-cache