Flume 推特配置错误

Question

我正在尝试使用 flume 提取 Twitter 数据。但我收到以下错误

15/04/08 23:16:36 ERROR node.PollingPropertiesFileConfigurationProvider: Unhandled error
 java.lang.NoSuchMethodError: twitter4j.conf.Configuration.isStallWarningsEnabled()Z
at twitter4j.TwitterStreamImpl.<init>(TwitterStreamImpl.java:60)
at twitter4j.TwitterStreamFactory.<clinit>(TwitterStreamFactory.java:40)
at com.cloudera.flume.source.TwitterSource.<init>(TwitterSource.java:64)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
at java.lang.Class.newInstance(Class.java:433)
at org.apache.flume.source.DefaultSourceFactory.create(DefaultSourceFactory.java:42)
at org.apache.flume.node.AbstractConfigurationProvider.loadSources(AbstractConfigurationProvider.java:327)
at org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(AbstractConfigurationProvider.java:102)
at org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:140)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access1(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)

我使用了 cloudera.The 中的 flume-sources-1.0-SNAPSHOT.jar TwitterAgent 运行时出现上述错误。有什么解决办法吗？

提前致谢。

Answer 1

这显然是一个依赖错误。 flume-sources 库需要一个不存在的 Twitter4j 版本，因此会出现 NoSuchMethod 错误。我建议你拉出正确的版本，whihc 是

1.6.0-SNAPSHOT 用于 twitter 源和 3.0.3 用于 twitter4j。您应该查阅 flume 的 pom.xml，其中包含您需要的所有版本信息。

需要注意的是，您应该尽可能使用最新版本，因为旧的实现将不起作用。 Twitter 同时破坏了他们的旧 API。

希望对您有所帮助。

Answer 2

您的 Agent.conf 文件中 Class 的完全限定名称存在问题。在旧版本中，class 名称是：com.cloudera.flume.source.TwitterSource flume最新版本的TwitterSource已经发货，无需单独下载。 class 名称更改为 org.apache.flume.source.twitter.TwitterSource

请慎重更改class名称，一定对你有用

Flume 推特配置错误

Flume twitter config error

flume

hadoop2

flume-ng

flume-twitter