Tag: hadoop

错误uhopper / hadoop-namenode写入文件: 试图将文件写入uhopper / hadoop-namenode我不知道。部署一个docker集装箱uhopper / hadoop-namenode，一切都会升起。但是当我尝试写入文件时会出现错误只能复制到0节点而不是minReplication（= 1）。此操作中有1个数据节点正在运行，1个节点不在此范围内。运行docker-compose.yml version: "2" networks: platform: {} services: hdatanode: image: "uhopper/hadoop-datanode" networks: platform: aliases: – "hdatanode" environment: CORE_CONF_fs_defaultFS: "hdfs://hadoop:8020" CLUSTER_NAME: "cluster1" HDFS_CONF_dfs_replication: "1" depends_on: – "hadoop" hadoop: image: "uhopper/hadoop-namenode" networks: platform: aliases: – "hadoop" ports: – "8020:8020" – "50070:50070" environment: CLUSTER_NAME: "cluster1" HDFS_CONF_dfs_replication: "1" 应用 public […]

在火花集群模式下运行齐柏林飞艇: 我在Docker容器中使用这个教程Spark模式的纱线模式来在纱线模式下在Spark集群中启动Zeppelin。然而，我卡在第4步。我找不到conf / zeppelin-env.sh在我的docker容器进行进一步的configuration。我试图把这些configuration文件夹的齐柏林飞船，但现在成功了。除此之外，齐柏林笔记本电脑也不在localhost：9001上运行。我对分布式系统非常陌生，如果有人可以帮我在纱线模式下启动Spark Spark上的Zeppelin，那将是非常棒的。这里是我的docker-compose文件，用来启用与spark集群的zeppelin对话。 version: '2' services: sparkmaster: build: . container_name: sparkmaster ports: – "8080:8080" – "7077:7077" – "8888:8888" – "8081:8081" – "8082:8082" – "5050:5050" – "5051:5051" – "4040:4040" zeppelin: image: dylanmei/zeppelin container_name: zeppelin-notebook env_file: – ./hadoop.env environment: ZEPPELIN_PORT: 9001 CORE_CONF_fs_defaultFS: "hdfs://namenode:8020" HADOOP_CONF_DIR_fs_defaultFS: "hdfs://namenode:8020" SPARK_MASTER: "spark://spark-master:7077" MASTER: "yarn-client" SPARK_HOME: spark-master […]

在docker上运行字数统计的例子: 我有一个容器上安装了hadoop 2.7.4。我用这个命令运行这个容器： sudo docker run -it -v somewhere/project/:/root/project/ –net=host –name hadoop -p 22:22 hadoop-img 我已经改变了下面的文件，在〜/ .bashrc … #hadoop variables, start export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::") export HADOOP_INSTALL=/opt/hadoop-2.7.4 export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" #hadoop variables, end 核心的site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet […]

docker中的纱线 – __spark_libs__.zip不存在: 我已经看了这个 StackOverflow后，但他们没有帮助我很多。我正试图让纱线在现有的集群上工作。到目前为止，我们一直使用火花独立pipe理器作为我们的资源分配器，并且一直按预期工作。这是我们架构的基本概述。在白色框中的所有东西都在docker容器中运行。在master-machine我可以在yarn resource manager容器中运行以下命令，并运行使用yarn的spark-shell： ./pyspark –master yarn –driver-memory 1G –executor-memory 1G –executor-cores 1 –conf "spark.yarn.am.memory=1G" 但是，如果我尝试从jupyter容器内的client-machine运行相同的命令，我在YARN-UI中出现以下错误。 Application application_1512999329660_0001 failed 2 times due to AM Container for appattempt_1512999329660_0001_000002 exited with exitCode: -1000 For more detailed output, check application tracking page:http://master-machine:5000/proxy/application_1512999329660_0001/Then, click on links to logs of each attempt. Diagnostics: File […]

我如何在主pipe中执行脚本？: 我有一个start-all.sh我指定它在docker的CMD。它按预期工作。 start-all.sh #!/usr/bin/env bash echo "It's Me Dear" /etc/init.d/hadoop-hdfs-namenode start /etc/init.d/hadoop-hdfs-datanode start /etc/init.d/hadoop-hdfs-secondarynamenode start /etc/init.d/hadoop-0.20-mapreduce-tasktracker start sudo -u hdfs hadoop fs -chmod 777 / /etc/init.d/hadoop-0.20-mapreduce-jobtracker start /etc/init.d/flume-ng-agent start /bin/bash 我无法在supervisord中指定相同的文件。我试过了 [program:long_script] command=bash /usr/local/start-all.sh start-all.sh出现在与模式777相同的文件中。我该如何解决？ [program:job_tracker] command=bash -c "/etc/init.d/hadoop-0.20-mapreduce-jobtracker start" 它开始和结束。我检查了日志文件。它说权限被拒绝。我必须在同一命令中添加sudo -u hdfs hadoop fs -chmod 777 / 。 command=bash -c […]

jps命令未find。将JDK的jps二进制文件放在命令path中: 我试图运行一个.sh文件，我收到以下错误消息：“未findjps命令。将JDK的jps二进制文件放在命令path中。所以！似乎我需要添加一个path（或别名）jps。但是，我找不到它。我查看了其他人在线说的path（对于我来说，/ usr / lib / jvm / java-7-openjdk-amd64 / bin / jps），但bin文件夹中没有jps。任何人都可以指向正确的方向吗？

Docker和Cloudera快速入门：如何运行自己的jar文件？: 我安装了Docker容器，并做了下面的步骤： docker pull cloudera/quickstart:latest docker images # note the hash of the image and substitute it below docker run –privileged=true \ –hostname=quickstart.cloudera \ -t -i ${HASH} \ /usr/bin/docker-quickstart 所以，现在我有：Cloudera正在运行。但是我不能看到任何本地文件，所以如何加载我自己的文件，尤其是jar文件来运行Hadoop？

Hadoop和Cassandra基准testing: 我最近build了一个Hadoop – Cloudera cluster和Cassandra集群，有2个节点。我想现在做一些基准testing，收集一些关于资源使用情况的数据。我search了很多，findHiBench和Cassandra压力工具。我不想和其他系统比较，我想自己摸索一下，但很难想象，我怎么才能得到真正正确的价值。集群由2个虚拟机组成，由KVM创build。 Cassandra在Docker容器中。很难解释，如何分析这个系统，没有得到错误的结果。

Docker上的HBase由于主机名alisas而导致NotServingRegionExceptionexception: 我正在build立一个非托pipezookeeper完全分布式的hbase集群。我非常使用这个例子，并在其上安装hbase： https ： //github.com/kiwenlau/hadoop-cluster-docker Hadoop和hdfs工作正常，但我得到这个exception与hbase： 2016-09-05 06:27:12,268 INFO [hadoop-master:16000.activeMasterManager] zookeeper.MetaTableLocator: Failed verification of hbase:meta,,1 at address=hadoop-slave2,16020,1473052276351, exception=org.apache.hadoop.hbase.NotServingRegionException: Region hbase:meta,,1 is not online on hadoop-slave2.hadoopnet,16020,1473056813966 at org.apache.hadoop.hbase.regionserver.HRegionServer.getRegionByEncodedName(HRegionServer.java:2910) 这是bloking，因为我在hbase shell中input的任何命令将返回以下错误： ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 容器运行使用–net = hadoopnet这是一个networking创build如此： docker network create –driver=bridge hadoopnet hbase webui显示了这一点： Region Servers ServerName Start time Version Requests Per Second Num. Regions […]

Docker上的DataStax Enterprise：无法启动，因为/ hadoop / conf目录不可写: 我已经遵循了DataStax关于在Docker中使用DSE的最佳实践的指南，但是我使用了DataStax提供的所有默认安装脚本和Dockerfiles来运行以下错误。错误日志 Caused by: java.lang.RuntimeException: Failed to save custom DSE Hadoop config at com.datastax.bdp.hadoop.mapred.CassandraJobConf.writeDseHadoopConfig(CassandraJobConf.java:310) ~[dse-hadoop-5.0.3.jar:5.0.3] at com.datastax.bdp.hadoop.mapred.CassandraJobConf.writeDseHadoopConfig(CassandraJobConf.java:174) ~[dse-hadoop-5.0.3.jar:5.0.3] at com.datastax.bdp.ConfigurationWriterPlugin.onActivate(ConfigurationWriterPlugin.java:20) ~[dse-hadoop-5.0.3.jar:5.0.3] at com.datastax.bdp.plugin.PluginManager.initialize(PluginManager.java:377) ~[dse-core-5.0.3.jar:5.0.3] at com.datastax.bdp.plugin.PluginManager.activateDirect(PluginManager.java:306) ~[dse-core-5.0.3.jar:5.0.3] … 7 common frames omitted Caused by: java.io.IOException: Directory not writable: /opt/dse/resources/hadoop/conf at com.datastax.bdp.hadoop.mapred.CassandraJobConf.saveConfiguration(CassandraJobConf.java:466) ~[dse-hadoop-5.0.3.jar:5.0.3] at com.datastax.bdp.hadoop.mapred.CassandraJobConf.saveDseHadoopConfiguration(CassandraJobConf.java:345) ~[dse-hadoop-5.0.3.jar:5.0.3] at com.datastax.bdp.hadoop.mapred.CassandraJobConf.writeDseHadoopConfig(CassandraJobConf.java:300) ~[dse-hadoop-5.0.3.jar:5.0.3] … 11 common frames omitted Unable […]