Docker容器上的Spark包
我正在构build一个连接到HBase的Docker化Spark集群。 我想使用Hortonwork shc软件包来pipe理连接。 我可以通过使用带有必要的--repository
标志的--packages
标志来包含这个包(这个插件不在sbt中)。
这工作正常,但每当容器重新启动时重新下载包。 非理想。
--packages
上的--packages
标志在哪里下载jar和依赖关系? 下载后拍快照并没有工作,我怀疑是因为我需要使用–classpath添加jar。
- 如何使用Apache Spark(pyspark)和Docker分发类
- 我怎样才能在DockerFile中定义我的ENVvariables,并将其传递给由supervisord托pipe脚本提交的spark图像?
- 如何在Docker容器中设置执行器IP?
- 将一个jar提交到sequenceiq docker-spark容器
- 在Docker上拒绝Spark的连接
- 在Docker容器上使用Hadoop和Spark
- Spark挂在Docker Mesos集群的身份validation上
- 我可以在docker中设置一个远程的spark服务器,以便我可以在本地进行通信吗?
- 如何在不同的主机上从外部访问docker container(overlay)中运行的服务