当部署模式是群集时,spark-submit代理主机/端口configuration不受尊重

我有一个Spark Streaming应用程序打包为Docker镜像,并通过Marathon部署在DC / OS中,如下所示:

https://github.com/mesosphere/iot-demo

以下用于在马拉松中触发火花作业的命令完美地起作用:

/opt/spark/dist/bin/spark-submit --master mesos://spark.marathon.mesos:8130 --deploy-mode client --driver-memory 4g --executor-memory 2g --conf "spark.driver.extraJavaOptions=-Dhttp.proxyHost=xx.yy.zz.aa -Dhttp.proxyPort=3128 -Dhttps.proxyHost=xx.yy.zz.aa -Dhttps.proxyPort=3128" --conf spark.mesos.executor.docker.image=private_registry/myimage-name:version --conf spark.mesos.executor.home=/opt/spark/dist --packages org.apache.spark:spark-streaming-kafka-0-10_2.11:2.0.1,com.datastax.spark:spark-cassandra-connector_2.11:2.0.1 --class app.MyApp file:///my.jar 

但是,如果将部署模式从客户端更改为集群,则在尝试下载指定的软件包时,它不会识别代理设置,并会拒绝连接。

有人可以提出什么可能是错的?

提前致谢。

最好的祝福

Sriraman。