Tag: docker cloudera

使用Hadoop和Docker进行代码开发的过程: 我在Hadoop学习了一段时间，并且安装了一切虚拟机，并且能够使用Intellij编写Java代码来执行MapReduce作业。这一切都很棒，但是我想学习MapReduce，而且还有更多的细节，所以我有兴趣在自己的机器上设置一些东西来练习。我看到Cloudera拥有Docker镜像，允许在某种Linux风格下安装Hadoop生态系统。我是docker工人，但听起来不错，尤其是因为他们有一个伪集群的多节点选项，我不需要繁琐的虚拟机。我的问题是，如何实际编写MapReduce，Spark或任何代码在容器中运行？在我的主机上没有Hadoop / Spark / etc的jar或者库，这些都在图像中，而且在docker上看起来有些容器是命令行驱动的。所以不知道如何在图像中使用IDE。那么，当所有的依赖关系都在图像中的时候，如何开发代码呢？

在Mac上找不到docker-quickstart: 我在Docker上试用Cloudera。启动Cloudera的命令是docker run –privileged=true –hostname=quickstart.cloudera -t -i ${HASH} /usr/bin/docker-quickstart 。但是，我根本没有/usr/bin/docker-quickstart 。我确定我遵循默认步骤在我的MacBook上安装Docker。有谁知道在哪里获取这个二进制可执行文件？还是有更好的方式在Docker上运行Cloudera？ [更新]在虚拟机上使用Cloudera是首选方式，可节省设置configuration的时间。

Cloudera Docker的图像…一切都出错了: 我正在用El Capitan OS运行16 GB Macbook Pro。我使用了安装cloudera docker镜像 docker pull cloudera/quickstart:latest docker run –privileged=true –hostname=quickstart.cloudera -t -i 9f3ab06c7554 /usr/bin/docker-quickstart 图像启动良好，我可以看到大多数服务启动 Started Hadoop historyserver: [ OK ] starting nodemanager, logging to /var/log/hadoop-yarn/yarn-yarn-nodemanager-quickstart.cloudera.out Started Hadoop nodemanager: [ OK ] starting resourcemanager, logging to /var/log/hadoop-yarn/yarn-yarn-resourcemanager-quickstart.cloudera.out Started Hadoop resourcemanager: [ OK ] starting master, logging to /var/log/hbase/hbase-hbase-master-quickstart.cloudera.out Started HBase […]

在Cloudera Docker QuickStart上访问Hue: 我已经使用docker根据这里给出的指示安装了cloudera快速入门。 https://blog.cloudera.com/blog/2015/12/docker-is-the-new-quickstart-option-for-apache-hadoop-and-cloudera/ docker run –privileged=true –hostname=quickstart.cloudera -p 7180 -p 8888 -t -i 9f3ab06c7554 /usr/bin/docker-quickstart 您可以看到我正在执行-p 7180和-p 8888端口映射。当容器启动成功时。我看到色调服务启动失败。但我使用sudo service hue restart手动运行它，并显示确定。现在我跑了 /home/cloudera/cloudera-manager –express –force 这个命令是成功的我有一个消息连接到CM使用http：//cloudera.quickstart：7180 现在在我的主机上，我做了docker-machine env default ，我可以看到输出 export DOCKER_TLS_VERIFY="1" export DOCKER_HOST="tcp://192.168.99.100:2376" export DOCKER_CERT_PATH="/Users/abhishek.srivastava/.docker/machine/machines/default" export DOCKER_MACHINE_NAME="default" 现在在主机上的浏览器中，我做了 http://192.168.99.100:7180 http://192.168.99.100:8888 http://quickstart.cloudera:7180 http://quickstart.cloudera:8888 但一切都无法连接到任何页面。所以即使在做端口转发之后……我无法从主机访问cloudera manager或HUE UI。我正在使用OSX。我也进入了virtualboxpipe理器用户界面，并select了默认的虚拟机。我进入设置 – >networking – […]