在Docker容器上运行hadoop集群

我想运行一个多节点的hadoop集群,其中每个节点都位于不同主机上的docker容器中。 这个图像 – https://github.com/sequenceiq/hadoop-docker很好地启动hadoop在伪分布式模式,什么是最简单的方法来修改这个每个节点在一个单独的ec2主机不同的容器?

我做了两个容器在两个不同的Ubuntu主机上运行主节点和从节点。 我使用编织方式在容器之间进行了联网。 我在docker中心帐户div4上添加了容器的图像。 我以同样的方式安装hadoop,因为它安装在不同的主机上。 我已经添加了两个图像与coomands在这里运行haddop:

https://registry.hub.docker.com/u/div4/hadoop_master/ https://registry.hub.docker.com/u/div4/hadoop_slave/

来自sequenceiq的人创build了一个名为cloud-break的新项目,该项目旨在与不同的云提供商合作,并轻松创buildhadoop群集。 就我所见,您只需input您的凭证,然后对所有提供者都是一样的。

所以对于EC2来说,现在可能是最简单的解决scheme(尤其是因为一个很好的GUI):

https://github.com/sequenceiq/cloudbreak-deployer