在pyspark-notebook docker容器上运行magellan
我正在通过jupyter/pyspark-notebook
工具箱在我的Windows 7机器上运行jupyter/pyspark-notebook
。
我的开始命令是:
docker run -it --rm --name ds -v /c/Users/<some-folder>:/home/jovyan/work/share -p 8888:8888 jupyter/pyspark-notebook start-notebook.sh
我正在试图运行火花包magellan。 在我正在运行的笔记本中:
import os os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages harsha2010:magellan:1.0.4-s_2.11 pyspark-shell' import pyspark sc = pyspark.SparkContext('local[*]') from magellan.types import Point, Polygon
但无法find模块magellan
。
我错过了什么?