Tag: mapreduce

如何在Docker中安装Hadoop从站使本地计算机上的主节点能够处理这些从节点？

我想在自己的计算机上安装多个从站节点，并且在我的本地计算机上还有一个主节点。我想这样可以很容易地上传数据和MR编程。 但是我很困惑的IP和端口configuration。 处理这个configuration是否容易？ 但是，我也认为我可以把所有的节点变成docker，并configurationdockernetworking和数据共享目录。 所以我可以做同样的事情。 如果我可以处理它，哪种方法更好？

Couchbase – 如何更改“max_kv_size_per_doc”？

我需要改变这个参数。 默认是1048576字节。 我想要至less2097152个字节。 我已经知道这不是build议的生产环境，因为我已经阅读过这个论坛。 我正在使用Couchbase 4.5和Docker。 我已经改变了文件“opt / couchbase / etc / couchdb / default.ini”，并重新启动容器，然后在容器内的服务。 但是不起作用。 我也试过这个：curl -X POST HTTP：// Administrator：password @ localhost：8091 / diag / eval -d'rpc：eval_everywhere（erlang，apply，[fun（） – > couch_config：set（“mapreduce”，“ max_kv_size_per_doc“，”2097152“）end，[]]）。' 但没有成功。 在我的testing过程中，我更改了文件“opt / couchbase / etc / couchdb / default.ini”，为参数“function_timeout”设置了一个新的值，并且工作。 我testing了一个睡眠里面的地图function，日志显示超时错误。 这意味着当我重新启动Couchbase时，它将采用新的configuration。 但是改变参数“max_kv_size_per_doc”没有任何区别。 有谁知道为什么？ 任何帮助，将不胜感激。 问候，安杰洛

在docker上运行字数统计的例子

我有一个容器上安装了hadoop 2.7.4。 我用这个命令运行这个容器： sudo docker run -it -v somewhere/project/:/root/project/ –net=host –name hadoop -p 22:22 hadoop-img 我已经改变了下面的文件， 在〜/ .bashrc … #hadoop variables, start export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::") export HADOOP_INSTALL=/opt/hadoop-2.7.4 export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" #hadoop variables, end 核心的site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet […]