Apache Spark:MesosClusterDispatcher可以在Docker容器中运行执行程序吗?

我正在构build一个Mesos集群来运行Apache Spark。 我宁愿为我的Spark执行者使用Docker容器,我可以使用spark-submit的客户端模式(使用--master mesos://mesosmaster:5050--conf spark.mesos.executor.docker.image=myimage:latest ),但我希望能够做同样的群集模式。

我有MesosClusterDispatcher运行,并可以提交作业(与 – 主--master mesos://clusterdispatcher:7077 --mode cluster --supervised ),但是当我指定一个--master mesos://clusterdispatcher:7077 --mode cluster --supervised图像的执行者使用,似乎是调度是忽略参数,并试图直接在Mesos沙箱中运行作业。

实际上是否可以将集群调度程序与spark.mesos.executor.docker.image结合使用? 我希望尽可能地从Mesos中断开Spark,这样他们可以独立升级,但是显然如果集群调度程序不能使用Docker镜像,我将不得不重新考虑我的策略。

谢谢!

看看https://github.com/wangqiang8511/docker-spark-mesos

它看起来应该可以工作,尽pipe我在部署在一个更大的集群上时遇到了问题。