Tag: cloudera

卷没有被链接到容器: 我想获得一些代码到我的docker container 。我正在研究的一种方法是使用卷。我试图把我的代码挂钩到这个项目生成的容器中。 https://github.com/cloudera/clusterdock 在项目中，我在文件clusterdock.sh添加了-v /Users/bi1/Development/QE/sink:/var/hostsrc \ clusterdock.sh sudo docker run –net=host -t \ –privileged \ ${TARGET_DIR_MOUNT} \ ${TOPOLOGY_VOLUME} \ ${REGISTRY_INSECURE} \ ${REGISTRY_USERNAME} \ ${REGISTRY_PASSWORD} \ -v /tmp/clusterdock \ -v /etc/hosts:/etc/hosts \ -v /etc/localtime:/etc/localtime \ -v /var/run/docker.sock:/var/run/docker.sock \ -v /Users/bi1/Development/QE/sink:/var/hostsrc \ "${CLUSTERDOCK_IMAGE}" $@ if [ -n "${TOPOLOGY_CONTAINER_ID}" ]; then sudo docker rm -v […]

Namenode在cloudera docker中的InternalIP：8020上运行，导致应用程序失败: 我正在尝试在centos6上为CDH 5.11.X创build一个Docker镜像，这个镜像尚未从cloudera获得。我正在使用（ http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin ）安装成功与以下故障 – 1.它创build挂载点（/ etc /主机，/ etc / hostname，/etc/resolve.conf），我用手工克服手动克服和手动恢复这些文件。 2.我还需要在安装过程中手动创build目录以提供nn和dn。我仍然可以运行应用程序来从主机操作系统。问题是从Docker容器内运行应用程序，因为它们无法使用localhost：8020进行连接。我不能telnet到本地主机8020，原因是这个（连同其他几个）在内部的ip-172.17.0.2:8020上运行。我用5.10的官方docker镜像validation，这个问题不存在。即namenode运行在0.0.0.0:8020。有没有人试图为CDH 5.11.X创buildDocker镜像..我想使用基于UI的安装程序，以便轻松地使用服务

为什么cloudera喜欢在/ etc / hosts中创build名称节点和数据节点目录: 不知道为什么在使用cloudera manager安装CDH的过程中发生这种情况，但是默认在/ etc / host中创build目录？我正在试图将其安装在docker集装箱内 –

无法在centos7上启动cloudera docker: 无法在Centos-7上启动cloudera容器。我在开始namenode时遇到问题。 $ tar xzf cloudera-quickstart-vm-*-docker.tar.gz $ docker import – cloudera/quickstart:latest < *.tar $ docker run –hostname=quickstart.cloudera –privileged=true -t -i cloudera/quickstart:latest /usr/bin/docker-quickstart 以下是来自namenode日志的错误。这里有什么我不在的地方？我试图在我的Ubuntu机器上，似乎在那里运行良好，不知道这是否与SELinux有关？禁用SELinux，仍然面临同样的问题。 2017-12-02 10:06:28,762 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: XAttrs enabled? true 2017-12-02 10:06:28,762 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Maximum size of an xattr: 16384 2017-12-02 10:06:28,819 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /var/lib/hadoop-hdfs/cache/hdfs/dfs/name/in_use.lock acquired by nodename 479@quickstart.cloudera 2017-12-02 […]

主pipe没有启动: 我正在关注cloudera cdh4安装指南。我的基本文件 FROM ubuntu:precise RUN apt-get update -y #RUN apt-get install -y curl RUN apt-get install -y software-properties-common python-software-properties RUN add-apt-repository ppa:webupd8team/java RUN apt-get update -y RUN echo debconf shared/accepted-oracle-license-v1-1 select true | \ debconf-set-selections RUN apt-get install -y oracle-java7-installer #Checking java version RUN java -version 我的hadoop安装文件 java_ubuntu是从我的基本文件构build的图像。 FROM java_ubuntu:latest RUN apt-get update -y […]

Cloudera cdh集群docker部署: 我已经使用docker为单个节点部署部署了cloudera / quickstart映像。不过，我想要使用docker在4个节点上进行多节点cdh部署。我是新来的，所以任何做过这些的人请告诉我怎么做到这一点。

从Docker文件运行impala sql脚本: 对于docker工人来说，我是一个相当新的人物，我正在努力做（我认为）一件很简单的事情。至于标题，我想从Docker文件运行impala脚本。这里我的Dockerfile看起来像： FROM cloudera/quickstart:latest COPY /home/dodo/script/ /home/cloudera/script WORKDIR /home/cloudera/script RUN service impala-state-store start \ && service impala-catalog start \ && service impala-server start \ && impala-shell -f script.sql –quiet -i localhost build立图像我一直有这个错误关于impala-shell连接：连接错误：TTransportException，无法连接到本地主机：21000 我试图运行相同的脚本与容器内的相同的命令，它的工作原理。你有什么想法，我怎么能解决这个问题，主机传递到黑斑羚壳？

如何连接火花（在远程的CDH-5.8dockervms）？我需要在容器上映射端口7077吗？: 目前，我可以从我的应用程序中访问HDFS，但是我也希望（而不是运行本地的火花）使用Cloudera的火花，因为它在Cloudera Manager中启用。现在我已经在core-site.xml中定义了HDFS，并将我的应用程序作为（–master）YARN运行。因此，我不需要将机器地址设置为我的HDFS文件。这样，我的SPARK作业在本地运行，而不是在“集群”中运行。我现在不想要这个。当我尝试设置 – 主pipe[名称节点]：[端口]它不连接。我想知道是否正在导航到正确的端口，或者如果我必须映射此端口在docker集装箱。或者如果我错过了有关纱线设置的东西。另外，我一直在testingSnappyData（Inc）解决scheme作为Spark SQL内存数据库。所以我的目标是在本地运行快速的JVM，但redirectSpark作业到VM群集。这里的整个想法是针对一些Hadoop实现来testing一些性能。这个解决scheme并不是最终的产品（如果运行速度是本地的，火花是“真的”远程的，我相信效率不高），但是在这种情况下，我会把精力充沛的JVM带到同一个集群中。提前致谢！

使用与docker组成的cloudera: 当我用像这样的docker使用cloudera时： docker run -it cloudera/quickstart:latest /usr/bin/docker-quickstart 一切工作正常，我不能使用它，并通过DOCKER_IP：50070访问ui 但是，如果我想将cloudera添加到docker-compose文件中，就像这样： version: '2' services: cloudera: image: cloudera/quickstart:latest command: /usr/bin/docker-quickstart ports: – "8020:8020" – "8022:22" # ssh – "7180:7180" # Cloudera Manager – "8888:8888" # HUE – "11000:11000" # Oozie – "50070:50070" # HDFS REST Namenode – "2181:2181" – "11443:11443" – "9090:9090" – "8088:8088" – "19888:19888" – "9092:9092" – […]

Cloudera和Docker: 我想使用Docker镜像（特别是cloudera / quickstart镜像）运行Cloudera。但是，在Docker Hub上，我只能findtesting版： https://hub.docker.com/r/cloudera/quickstart/tags/ 获得更新图像的正确方法是什么？我应该只是下载一个testing版的图像，然后安装包裹？我会用Docker Compose来做这个吗？如果是这样，我可以find在线的说明吗？还是有一个完全不同的方式来解决这个问题？