Tag: jupyter笔记本

Docker部署Jupyter笔记本电脑与GPU: 我正在尝试创build一个群集，可以在使用p2实例创build的AWS GPU群集内部启动带有Tensorflow和Jupyter笔记本的Docker。我也希望每个用户都有自己的文件夹。理想情况下，每个实例最多可以运行两个docker，如果需要一个新的docker，我们将启动一个新的实例。我试图使用AWS ECS来做到这一点，我设法使用Jupyter在TF docker镜像和GPU的固定端口上启动任务。我也想为每个用户安装一个不同的文件夹，我认为可以在任务定义中使用一个variablesmount / folder / $（userid）/，但这是不可能的。我也试图自动启动一个新的实例添加到集群，如果实例已经有两个docker运行。现在我找不到解决这两个问题的办法，我看到Kubernetes可以取代ECS，你认为Kubernetes会是我想要做的一个很好的解决scheme吗？如果不是我能做些什么来使它与ECS一起工作？随意给任何build议谢谢！这是我目前的dockerconfiguration：我现在没有实现用户文件夹： "containerDefinitions": [ { "volumesFrom": [], "memory": 2048, "extraHosts": null, "linuxParameters": null, "dnsServers": null, "disableNetworking": null, "dnsSearchDomains": null, "portMappings": [ { "hostPort": 0, "containerPort": 8888, "protocol": "tcp" } ], "hostname": null, "essential": true, "entryPoint": [ "jupyter", "notebook", "–no-browser", […]

张量streamMNIST：核心重新启动; 核心似乎已经死亡: 我正在尝试运行docker + tensorflow MNIST示例，并获取与https://stackoverflow.com/users/5473110/user5473110相同的错误消息。使用Deep MNIST专家代码，我得到最后一块数据input的错误。当我缩短块的数量时，错误出现在最后一个块。我可以通过添加一个更多的块来解决这个问题。以下是代码： import argparse import sys import tempfile from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tf FLAGS = None def deepnn(x): """deepnn builds the graph for a deep net for classifying digits. Args: x: an input tensor with the dimensions (N_examples, 784), where 784 is the number of […]

在Docker中运行jupyter笔记本时如何处理python模块安装？: 我现在开始使用真棒的jupyter笔记本。由于我一直有东西因为不同的python版本和python模块版本而不工作，所以我喜欢在docker集装箱中运行jupyter笔记本。我已经创build了一个Dockerfile来构build我的镜像（基于dockerhub上的官方jupyter / scipy-notebook镜像），我已经完成了所有工作，并且运行良好。唯一引起我关注的是如何处理下周可能需要的不同python模块的安装。你们怎么处理？ 1）在运行的docker容器中安装所需的模块，然后使用docker commit将正在运行的容器保存为一个新的映像？ 2）总是编辑Dockerfile来安装所需的模块并重新构build图像？ 3）不要删除容器（no –rm标志），只是重新启动它？ 1）和2）似乎有点复杂，但我也希望能够从一个“新鲜”的笔记本，以防万一我搞砸了，所以3）也不完美。有什么我错过了吗？

在Docker中托pipeJupyter笔记本时连接到内核时出错: 所以我试图在一个由Kubernetes集群托pipe的Docker容器中托pipe一个Jupyter笔记本服务器。我可以在集群内启动Ubuntu 16.04容器，启动jupyter笔记本，并通过集群服务公开笔记本。我能够查看由笔记本服务器托pipe的HTML页面，但是当我尝试启动Python3内核时，出现以下错误。从浏览器控制台看起来像 Starting WebSockets: ws://10.206.44.237:32494/api/kernels/193dc211-88c9-434c-aa99-4caa344783fb kernel.js:461 WebSocket connection to 'ws://10.206.44.237:32494/api/kernels/193dc211-88c9-434c-aa99-4caa344783fb/channels?session_id=02EB817AA5EA4B65878A10B810202566' failed: HTTP Authentication failed; no valid credentials available Kernel.start_channels @ kernel.js:461 Kernel.reconnect @ kernel.js:355 i @ jquery.min.js:4 kernel.js:103 Kernel: kernel_disconnected (193dc211-88c9-434c-aa99-4caa344783fb) kernel.js:544 WebSocket connection failed: ws://10.206.44.237:32494/api/kernels/193dc211-88c9-434c-aa99-4caa344783fb true kernel.js:569 Failed to reconnect, giving up. 托pipeJupyter笔记本电脑的Docker容器的日志显示 [I 17:03:24.877 NotebookApp] Creating new notebook in [W […]

无法在Jupyter笔记本中加载R内核，Kernel Died: 无法加载共享对象'/opt/conda/lib/R/library/stringi/libs/stringi.so'我想安装python在RHEL 7泊坞窗图像上的python，该文件是可用的（不缺less）/select/康达/ LIB / R /库/ stringi /库/ stringi.so。它与Ubuntu / debian工作正常，但不在RHEL工作 [I 07:18:08.758 NotebookApp] KernelRestarter: restarting kernel (2/5) Error in dyn.load(file, DLLpath = DLLpath, …) : unable to load shared object '/opt/conda/lib/R/library/stringi/libs/stringi.so': libicui18n.so.58: cannot open shared object file: No such file or directory Calls: :: … tryCatch -> tryCatchList -> tryCatchOne -> <Anonymous> Execution […]

tf.contrib.signal.stft返回一个空matrix: 这是我运行的代码片段： import tensorflow as tf sess = tf.InteractiveSession() filename = 'song.mp3' # 30 second mp3 file SAMPLES_PER_SEC = 44100 audio_binary = tf.read_file(filename) pcm = tf.contrib.ffmpeg.decode_audio(audio_binary, file_format='mp3', samples_per_second=SAMPLES_PER_SEC, channel_count = 1) stft = tf.contrib.signal.stft(pcm, frame_length=1024, frame_step=512, fft_length=1024) sess.close() 由于print(pcm.eval().shape)返回，所以mp3文件被正确解码： (1323119, 1) 当我使用print(pcm.eval()[1000:1010])时，甚至有一些实际的非零值： [[ 0.18793298] [ 0.16214484] [ 0.16022217] [ 0.15918455] [ 0.16428113] [ 0.19858395] [ 0.22861415] […]

为Jupyter创build一个docker容器: 我想给一个docker集装箱给我的学生，使他们能够进行实验。我以为我使用以下dockerfile： FROM jupyter/datascience-notebook:latest ADD ./config.json /home/jovyan/.jupyter/jupyter_notebook_config.json ADD ./books /home/jovyan/work 因此，标准容器将包括我创build并存储在books文件夹中的几个笔记本。然后我用本地生成和运行这个容器 #!/usr/bin/env bash docker build -t aaa . docker run –rm -p "8888:8888" -v $(pwd)/books:/home/joyvan/work aaa 我构build容器aaa，并再次与文件夹书籍共享（虽然书籍已在编译时复制到图像中）。我现在打开端口8888上的容器。我可以编辑/ home / joyvan / work文件夹中的文件，但是这些东西没有被传回主机。有什么地方可怕的错误。是因为我在docker build期间添加了文件，然后在-v中再次分享它们？我玩过各种select。我已经将本地用户添加到用户组。我在书中的所有文件上都播放。我所有的文件显示为根：容器中的根。我在容器中是joyvan，没有这些文件的写访问权限。我将如何确保文件归joyvan所有？编辑：其他一些元素： tom@thomas-ThinkPad-T450s:~/babynames$ docker exec -it cranky_poincare /bin/bash jovyan@5607ac2bcaae:~$ id jovyan uid=1000(jovyan) […]

在Docker镜像上configuration笔记本服务器: Image： jupyter/datascience-notebook Docker CMD： docker run -d -p 8888:8888 jupyter/datascience-notebook start-notebook.sh （Ref.1）我想更多的设置在这个jupyter笔记本服务器与我自己的configuration文件。并把它作为另一个形象我的目标是在一个命令“docker run xxxxx …..”中启动一个带有我的configuration文件的笔记本服务器（参考1）我有两个办法：重写jupyterhubconfiguration文件编辑start-notebook.sh的命令

将docker实例与python笔记本连接到Neo4J的Docker实例: 我正在运行一个Jupyter笔记本泊坞窗实例（ https://github.com/jupyter/docker-stacks/tree/master/all-spark-notebook ），我已经安装了py2neo。我也运行与端口7474暴露安装Neo4Jdocker集装箱。问题是我似乎无法连接到笔记本泊坞窗的Neo4J泊坞窗的REST接口。我认为这个问题与localhost的定义有关。到目前为止工作。我只用了Neo4J docker，启动了一个本地笔记本（ipython notebook），接下来的工作就是： import py2neo from py2neo import Node, Relationship, Graph, authenticate authenticate("http://localhost:7474", "neo4j", "admin") graph = Graph('http://localhost:7474/db/data') graph.cypher.execute('match (y:Year) return y') 因为localhost的定义是不一样的，相同的代码在单独的docker容器中运行的笔记本中不起作用。但现在我不明白它应该是什么：我已经在Neo4J容器上使用docker 检查，并使用以下两个试图find对应于我的本地主机的地址： “网关”：“xxx.yy.42.1” “IPAddress”：“xxx.yy.0.3” 但是它们都导致ClientError: 401 Unauthorized 有关如何解决这个问题的任何build议？（请注意，我目前的docker版本是1.7.1，因此不支持networking，但是如果有必要，我可以明显升级。）

在Ubuntu 14.04上通过docker安装tensorflow: 我试图通过docker在Ubuntu 14.04上安装tensorflow。它已成功添加到docker图像。但是当我运行泊坞窗图像，我得到以下错误。 [I 16:12:44.450 NotebookApp] Writing notebook server cookie secret to /root/.local/share/jupyter/runtime/notebook_cookie_secret /usr/local/lib/python2.7/dist-packages/widgetsnbextension/__init__.py:30: UserWarning: To use the jupyter-js-widgets nbextension, you'll need to update the Jupyter notebook to version 4.2 or later. the Jupyter notebook to version 4.2 or later.""") [W 16:12:44.479 NotebookApp] WARNING: The notebook server is listening on all IP addresses and […]