在火花集群模式下运行齐柏林飞艇

我在Docker容器中使用这个教程Spark模式的纱线模式来在纱线模式下在Spark集群中启动Zeppelin。 然而，我卡在第4步。我找不到conf / zeppelin-env.sh在我的docker容器进行进一步的configuration。 我试图把这些configuration文件夹的齐柏林飞船，但现在成功了。 除此之外，齐柏林笔记本电脑也不在localhost：9001上运行。

我对分布式系统非常陌生，如果有人可以帮我在纱线模式下启动Spark Spark上的Zeppelin，那将是非常棒的。

这里是我的docker-compose文件，用来启用与spark集群的zeppelin对话。

version: '2' services: sparkmaster: build: . container_name: sparkmaster ports: - "8080:8080" - "7077:7077" - "8888:8888" - "8081:8081" - "8082:8082" - "5050:5050" - "5051:5051" - "4040:4040" zeppelin: image: dylanmei/zeppelin container_name: zeppelin-notebook env_file: - ./hadoop.env environment: ZEPPELIN_PORT: 9001 CORE_CONF_fs_defaultFS: "hdfs://namenode:8020" HADOOP_CONF_DIR_fs_defaultFS: "hdfs://namenode:8020" SPARK_MASTER: "spark://spark-master:7077" MASTER: "yarn-client" SPARK_HOME: spark-master ZEPPELIN_JAVA_OPTS: >- -Dspark.driver.memory=1g -Dspark.executor.memory=2g ports: - 9001:9001 volumes: - ./data:/usr/zeppelin/data - ./notebooks:/usr/zeppelin/notebook 

Answer 1

这是您用来启动独立Spark集群的dockerfile。

• https://github.com/apache/zeppelin/blob/master/scripts/docker/spark-cluster-managers/spark_standalone/Dockerfile

但是容器内没有Zeppelin实例，所以你必须在本地机器上使用Zeppelin。

请下载并使用它。