在Spark独立模式下运行Spark作业服务器时出现exception
我正在尝试Spark作业服务器 – 特别是泊坞窗容器选项。 我能够以spark本地模式运行WordCountExample应用程序。 不过，当我试图将应用程序指向远程Spark主机时，我遇到了一个exception。
以下是我用来运行WordCountExample应用程序的命令：
1. sudo docker run -d -p 8090:8090 -e SPARK_MASTER=spark://10.501.502.503:7077 velvia/spark-jobserver:0.6.0 2. sbt job-server-tests/package 3. curl --data-binary @job-server-tests/target/scala-2.10/job-server-tests_2.10-0.6.2-SNAPSHOT.jar localhost:8090/jars/test 4. curl -d "input.string = abcab see" 'localhost:8090/jobs?appName=test&classPath=spark.jobserver.WordCountExample' 以下是我在上面运行第4步时遇到的exception情况：
{ "status": "ERROR", "result": { "message": "Futures timed out after [15 seconds]", "errorClass": "java.util.concurrent.TimeoutException", "stack": ["scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219)", "scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223)", "scala.concurrent.Await$$anonfun$result$1.apply(package.scala:107)", "akka.dispatch.MonitorableThreadFactory$AkkaForkJoinWorkerThread$$anon$3.block(ThreadPoolBuilder.scala:169)", "scala.concurrent.forkjoin.ForkJoinPool.managedBlock(ForkJoinPool.java:3640)", "akka.dispatch.MonitorableThreadFactory$AkkaForkJoinWorkerThread.blockOn(ThreadPoolBuilder.scala:167)", "akka.dispatch.BatchingExecutor$Batch.blockOn(BatchingExecutor.scala:101)", "scala.concurrent.Await$.result(package.scala:107)", ...
我开始使用远程Spark群集（主人和工作人员）
cd $SPARK_HOME ./sbin/start-all.sh
远程集群使用Spark version 1.5.1 （即，预构build的二进制spark-1.5.1-bin-hadoop2.6 ）
问题
- 任何build议如何我可以debugging呢？
- 是否有任何日志可以查明根源？
提前致谢。
这可能是一个networking问题。 SJS服务器应该可以从Spark集群到达。
我有同样的问题火花1.6.1。 我把jobserver版本更改为最后版本（0.6.2.mesos-0.28.1.spark-1.6.1），它适用于我。