我可以在docker中设置一个远程的spark服务器,以便我可以在本地进行通信吗?
我已经在Amazon EC2上安装了Docker镜像:
sudo apt-get update sudo apt-get install apt-transport-https ca-certificates sudo apt-key adv --keyserver hkp://p80.pool.sks-keyservers.net:80 --recv-keys 58118E89F3A912897C070ADBF76221572C52609D sudo sh -c 'echo "deb https://apt.dockerproject.org/repo ubuntu-trusty main" > /etc/apt/sources.list.d/docker.list' sudo apt-get update sudo apt-get purge lxc-docker sudo apt-get install linux-image-extra-$(uname -r) sudo apt-get install apparmor sudo apt-get install docker-engine sudo service docker start sudo docker pull sequenceiq/spark sudo docker run -d $(sudo docker images|tail -n 1|awk '{print $3}')
它运行成功:
$ sudo docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 0596a52cb11b 016b4fce9cd0 "/etc/bootstrap.sh -d" 58 minutes ago Up 58 minutes 22/tcp, 8030-8033/tcp, 8040/tcp, 8042/tcp, 8088/tcp, 49707/tcp, 50010/tcp, 50020/tcp, 50070/tcp, 50075/tcp, 50090/tcp ecstatic_noether
问题:
-
http://<instance public IP>:<ports listed above>
不起作用。 我错过了什么? -
是否有可能连接到这个实例,并在我的笔记本电脑与
pyspark
做的工作?
谢谢。
(我读EC2的Running Spark,但不是docker工人)