org.apache.spark.SparkException:因Yarn和Docker阶段失败而中止作业

我在本地开发了一个Spark应用程序,没有任何问题。 但是当我想把它推入Docker Image中的Yarn Cluster时,我得到以下消息:

线程“main”中的exceptionorg.apache.spark.SparkException:由于阶段失败而导致作业中止:阶段0.0中的任务2失败4次,最近失败:阶段0.0中丢失的任务2.3(TID 26,沙箱):ExecutorLostFailure 1丢失)驱动程序stacktrace:在org.apache.spark.scheduler.DAGScheduler.org $ apache $ spark $ scheduler $ DAGScheduler $$ failJobAndIndependentStages(DAGScheduler.scala:1203)在org.apache.spark.scheduler.DAGScheduler $$ anonfun $ abortStage $ 1.apply(DAGScheduler.scala:1192)at org.apache.spark.scheduler.DAGScheduler $$ anonfun $ abortStage $ 1.apply(DAGScheduler.scala:1191)at scala.collection.mutable.ResizableArray $ class.foreach(ResizableArray .scala:59)at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1191)at org.apache.spark.scheduler scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)。 DAGScheduler $$ anonfun $ handleTaskSetFailed $ 1.apply(DAGScheduler.scala:693)at org.apache.spark.scheduler.DAGScheduler $$ anonfun $ handleTaskSetFailed $ 1.apply(DA GScheduler.scala:693)at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:693)at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(scala.Option.foreach(Option.scala:236) (DAGScheduler.scala:1393)at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1354)at org.apache.spark.util.EventLoop $$ anon $ 1.run(EventLoop.scala:48)uote

用来启动应用程序的命令是:

spark-submit --class myapp.myapp_spark.App --master yarn-client /opt/myapp/myapp_spark.jar 

我的应用程序正在使用Mongo数据库。 它是否与内存问题,与Mongo或其他的连接有关? 提前致谢