Tag: Spark Docker

在spark上configuration，总是在spark master web UI的job application中错误的executor_cores

我试图将mapreduce上的configurationhive 2.1.1切换到configuration单元上。 正如火花官方网站上的configuration单元所说，我在没有configuration单元的情况下构build了一个spark 1.6.0 （在蜂巢2.1.1源代码POM中引发了转速）。 Spark在submit/spark-shelltesting中工作正常。 我设定了 spark.executor.cores / spark.executor.memory 在hive-site.xml ，也通过限制这两个 SPARK_WORKER_CORES / SPARK_WORKER_MEMORY 在spark-env.sh 。 但是当我从configuration单元cli启动一个像select count(*)的configuration单元查询之后，spark master web UI中的作业总是被应用0个CPU核心，所以这个作业不被执行，并且hive查询在cli中一直等待。 并且在Docker环境中设置Spark集群，每个服务器都是运行在服务器上的一个Docker容器，最多可以添加160个内核/ 160g内存 。 在设置SPARK_WORKER_CORES / SPARK_WORKER_MEMORY之前，总是应用156个内核，这也导致没有足够资源的故障。 在将SPARK_WORKER_CORES / SPARK_WORKER_MEMORY限制为分配给docker集装箱的资源之后，将应用0。 我被困在这个问题上2天没有进展。 希望熟悉Docker的configuration单元或者在docker env上运行configuration单元的任何人的一些技巧。