用Docker Container Executor作为YARN容器提交一个Spark作业到YARN集群

在Hadoop-2.6.0中引入了Docker容器执行器,加强了YARN容器的资源隔离。 我知道如何使用docker容器执行器运行一个MR作业hadoop jar ~/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar teragen -Dmapreduce.map.env="yarn.nodemanager.docker-container-executor.image-name=sequenceiq/hadoop-docker:2.4.1" -Dyarn.app.mapreduce.am.env="yarn.nodemanager.docker-container-executor.image-name=sequenceiq/hadoop-docker:2.4.1" 1000 teragen_out_dir ,发布在官方文档中 。 我想知道点火工作怎么样? 我可以使用Docker Container Executor将Spark工作提交给YARN吗?

Interesting Posts