用纱线进行火花聚类
我想用纱线进行火花聚类。 我需要
- 安装hadoop主和从属纱configuration?
- 分别安装hadoop主站/从站和主站/从站?
如果1没问题,我将使用这个docker镜像( 链接 )。 这适合吗?
使用纱线configuration安装hadoop主站和从站是足够的,以便在纱线上运行火花,但是还需要确保正在下载的火花版本支持纱线。 一旦安装了火花,就应该能够进入纱线configuration,并且所需要的与纱线相关的jar文件也在火花的path上。
- 在Zeppelin中看不到Docker的文件
- 缓冲区/caching耗尽Docker容器内的Spark独立
- 使用Docker容器在独立群集上Spark SPARK_PUBLIC_DNS和SPARK_LOCAL_IP
- 如何使用Apache Spark(pyspark)和Docker分发类
- 匿名UID的Apache Spark独立(无用户名)
- Docker容器上的Spark包
- 以dock swarm模式通过docker-compose部署Spark集群
- 如何从本地机器(mac)加载csv到Spark-Neo4j docker?
- 如何在不同的主机上从外部访问docker container(overlay)中运行的服务