Docker部署Jupyter笔记本电脑与GPU
我正在尝试创build一个群集,可以在使用p2实例创build的AWS GPU群集内部启动带有Tensorflow和Jupyter笔记本的Docker。 我也希望每个用户都有自己的文件夹。 理想情况下,每个实例最多可以运行两个docker,如果需要一个新的docker,我们将启动一个新的实例。
我试图使用AWS ECS来做到这一点,我设法使用Jupyter在TF docker镜像和GPU的固定端口上启动任务。
我也想为每个用户安装一个不同的文件夹,我认为可以在任务定义中使用一个variablesmount / folder / $(userid)/,但这是不可能的。
我也试图自动启动一个新的实例添加到集群,如果实例已经有两个docker运行。
现在我找不到解决这两个问题的办法,我看到Kubernetes可以取代ECS,你认为Kubernetes会是我想要做的一个很好的解决scheme吗?
如果不是我能做些什么来使它与ECS一起工作?
随意给任何build议
谢谢!
这是我目前的dockerconfiguration:我现在没有实现用户文件夹:
"containerDefinitions": [ { "volumesFrom": [], "memory": 2048, "extraHosts": null, "linuxParameters": null, "dnsServers": null, "disableNetworking": null, "dnsSearchDomains": null, "portMappings": [ { "hostPort": 0, "containerPort": 8888, "protocol": "tcp" } ], "hostname": null, "essential": true, "entryPoint": [ "jupyter", "notebook", "--no-browser", "--allow-root", "--NotebookApp.token=pass", "--NotebookApp.port=8888" ], "mountPoints": [ { "containerPath": "/usr/local/nvidia", "sourceVolume": "nvidia", "readOnly": false } ], "name": "gputask", "ulimits": null, "dockerSecurityOptions": null, "environment": [], "links": null, "workingDirectory": null, "readonlyRootFilesystem": null, "image": "gcr.io/tensorflow/tensorflow:latest-gpu", "command": [], "user": null, "dockerLabels": null, "logConfiguration": null, "cpu": 2048, "privileged": true, "memoryReservation": null } ], "placementConstraints": [], "volumes": [ { "host": { "sourcePath": "/var/lib/nvidia-docker/volumes/nvidia_driver/latest" }, "name": "nvidia" }
- AWS Cloud观看不可读的符号
- Docker部署失败的Elastic Beanstalk
- 什么触发Elastic Beanstalk拉入更新的Docker镜像
- Angular 2应用程序部署在AWS上运行的Docker容器中
- 将Docker部署到AWS Elastic Beanstalk – 如何将端口转发到主机? (端口绑定)
- 使用docker在WSO2 APIpipe理器集群中设置AWS hazelcast集群
- 在CircleCI中使用ECS存储库图像作为构build图像
- 如何设置运行Django的AWS Elastic Beanstalk Docker平台?
- 如何使用jenkinsci / jnlp-slave进行复杂的构build?