Hadoop Docker设置 – WordCount教程

我正在按照教程来运行在这里提到的WordCount.java ,当我在教程中运行以下行

 hadoop jar wordcount.jar org.myorg.WordCount /user/cloudera/wordcount/input /user/cloudera/wordcount/output 

我得到以下错误 –

 17/09/04 01:57:29 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 17/09/04 01:57:30 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 

我用的docker图片是docker pull cloudera/quickstart

没有Hadoop和Docker的设置教程,所以如果能告诉我要克服这些问题的configuration将会很有帮助。

该教程假设您处于群集中,并提供Hadoop客户端命令,Hadoop服务已启动并正确configuration。

0.0.0.0:8032是默认的YARN资源pipe理器 ,所以你需要configuration你的HADOOP_CONF_DIR XML文件(特别是这个错误的yarn-site )来指向Docker容器中的YARN的正确地址。 corehdfs-site也需要configuration指向HDFS。