Tag: spark jobserver

Spark JobServer没有运行我提交的工作: 我正在尝试在git中描述的将Spark JobServer设置为主机中的docker实例 Spark Jobserver Docker 所以我只用一行创build了一个Dockerfile： – from sparkjobserver/spark-jobserver:0.7.0.mesos-0.25.0.spark-1.6.2 然后我build立了Docker镜像： docker build -t spark-jobserver –rm . 并运行它： docker run -d -p 8090:8090 -t spark-jobserver 到现在为止还挺好。我在项目中打包了示例WordCount项目。然后我将jar提交给JobServer curl –data-binary @job-server-tests/target/scala-2.11/job-server-tests_2.11-0.8.0-SNAPSHOT.jar localhost:8090/jars/test { “地位”：“成功”， “结果”：“Jar上传” }％当我尝试运行这个工作时， curl -d "input.string = abcab see" "localhost:8090/jobs?appName=test&classPath=spark.jobserver.WordCountExample" 我得到这个错误： { “状态”：“错误”， “结果”：{ “消息”：“在[3000ms]之后超时[Actor [akka：// JobServer / user / job-info＃-258556954]]” “errorClass”：“akka.pattern.AskTimeoutException”， […]

在Spark独立模式下运行Spark作业服务器时出现exception: 我正在尝试Spark作业服务器 – 特别是泊坞窗容器选项。我能够以spark本地模式运行WordCountExample应用程序。不过，当我试图将应用程序指向远程Spark主机时，我遇到了一个exception。以下是我用来运行WordCountExample应用程序的命令： 1. sudo docker run -d -p 8090:8090 -e SPARK_MASTER=spark://10.501.502.503:7077 velvia/spark-jobserver:0.6.0 2. sbt job-server-tests/package 3. curl –data-binary @job-server-tests/target/scala-2.10/job-server-tests_2.10-0.6.2-SNAPSHOT.jar localhost:8090/jars/test 4. curl -d "input.string = abcab see" 'localhost:8090/jobs?appName=test&classPath=spark.jobserver.WordCountExample' 以下是我在上面运行第4步时遇到的exception情况： { "status": "ERROR", "result": { "message": "Futures timed out after [15 seconds]", "errorClass": "java.util.concurrent.TimeoutException", "stack": ["scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219)", "scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223)", "scala.concurrent.Await$$anonfun$result$1.apply(package.scala:107)", "akka.dispatch.MonitorableThreadFactory$AkkaForkJoinWorkerThread$$anon$3.block(ThreadPoolBuilder.scala:169)", "scala.concurrent.forkjoin.ForkJoinPool.managedBlock(ForkJoinPool.java:3640)", "akka.dispatch.MonitorableThreadFactory$AkkaForkJoinWorkerThread.blockOn(ThreadPoolBuilder.scala:167)", "akka.dispatch.BatchingExecutor$Batch.blockOn(BatchingExecutor.scala:101)", […]

Spark Job Server是否必须与Spark Master部署在同一台主机上？: 我想在不同的主机上将Spark Job Server （在Docker容器中）部署到Spark Master。但是， server_start.sh脚本似乎假设它正在与Spark Master在同一台机器上运行。例如： if [ -z "$SPARK_CONF_DIR" ]; then SPARK_CONF_DIR=$SPARK_HOME/conf fi # Pull in other env vars in spark config, such as MESOS_NATIVE_LIBRARY . $SPARK_CONF_DIR/spark-env.sh 根据架构部分，它说：作业服务器旨在作为一个或多个独立的进程运行，与Spark集群分离（虽然很可能与主节点同步）。有谁知道如何使server_start.sh脚本能够像在Spark Job Server上另一台机器上托pipe的Spark Master那样工作？

将spark-jobserver部署到BlueMix Spark节点: 我正在尝试在Docker容器中将Spark spark-jobserver实例部署并连接到BlueMix Spark服务。在本地，容器可以使用命令docker -d -p 8090:8090 {image-name}完美启动，但看起来像BlueMix ice -p命令的工作方式不同，只允许指定BlueMix端口。如何从BlueMix提供此容器？