Docker与WebHDFS
我有一个在Docker容器中运行的Spark图像。 我想从容器外部的主机使用WebHDFS访问由HDFS中的Spark保存的结果。 为此，我使用OPEN API ，它在提供文件内容之前有一个redirect。 运行docker映像时，我使用-P标志转发所有端口。
我能够执行其他操作，如使用主机上暴露的高端口列出目录。 但是对于读取文件，REST调用会失败，因为存在HTTPredirect。
任何想法如何我可以解决这个问题？
- 在Docker容器上使用Hadoop和Spark
- Mesos上的Spark集群模式：如何将configuration传递给执行器？
- 在Java中通过spark连接到Cassandra时出现问题
- org.apache.spark.SparkException：因Yarn和Docker阶段失败而中止作业
- Spark节点使用错误的IP地址进行通信（Docker）
- 禁用Spark master检查主机名是否相等
- 在Spark独立模式下运行Spark作业服务器时出现exception
- 如何在不同的主机上从外部访问docker container（overlay）中运行的服务
- 在Mac上查找$ YOUR_DOCKER_HOST IP