Tag: apache spark
参考Zeppelin到Spark Master（在Docker容器中）
感谢您分享您的时间。 我有一个Docker设置如下：一个Docker-Compose文件，启动一个Zookeeper，Solrcloud，Spark Master / Worker和Zeppelin的实例。 他们都开始完美运行。 Solrcloud和Spark与Zookeeper连接。 现在我想把齐柏林连接到火花大师。 但它不适合我。 在我的docker-compose文件中，我设置了ZEPPELIN_SPARK_MASTER: spark://spark:7077并设置了SPARK_HOME 。 然而，它不工作，因为我可以在Spark UI中看到（只显示了Spark Worker）。 所有的端口都打开。 我停用了防火墙，仍然没有工作。 – Ubuntu 16.04 LTS
匿名UID的Apache Spark独立（无用户名）
我正在OpenShift平台上启动Apache Spark从节点。 OpenShift内部启动泊坞窗图像作为匿名用户（用户没有名字，但只是UID）。 我得到以下exception 17/07/17 16:46:53 INFO SignalUtils: Registered signal handler for INT 12 17/07/17 16:46:55 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 13 Exception in thread "main" java.io.IOException: failure to login 14 at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:824) 15 at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:761) 16 at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:634) 17 at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2391) 18 at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2391) […]
BigTop docker-hadoop.sh无法启动
我正在使用BigTop 1.2.0stream浪租户运行良好，但是当我尝试使用Docker预configuration时显示以下错误： 命令 $ ./docker-hadoop.sh -c 3 错误 环境检查…检查docker：docker版本17.09.0-ce，构buildafdb6d4检查docker构成：docker构成版本1.16.1，构build6d1ac219检查ruby：ruby2.4.2p198（2017-09-14修订59899）[ NilClass（NoMethodError）-e：1：in <main>': undefined method []'为nil：NilClass（NoMethodError）x64-mingw32] -e：1：in <main>': undefined method []'缩放命令已被弃用。 改为使用up命令和–scale标志。 创build20171020215450r21863_bigtop_1 …创build20171020215450r21863_bigtop_2 …创build20171020215450r21863_bigtop_3 … 错误：对于20171020215450r21863_bigtop_2未提供资源ID错误：对于20171020215450r21863_bigtop_3未提供资源ID错误：对于20171020215450r21863_bigtop_1未提供资源ID 回溯（最近一次通话最后）： 在第6行的文件“docker-compose”中 文件“compose \ cli \ main.py”，第68行 在perform_command文件“compose \ cli \ main.py”，第121行 文件“compose \ cli \ main.py”，行796，按比例 在_execute_convergence_start文件“compose \ service.py”，第257行，在文件“compose \ service.py”，行444，在_execute_convergence_start文件“compose \ service.py”，行395，在_execute_convergence_create文件“compose \ parallel.py”第70行，在parallel_execute docker.errors.NullResource：没有提供资源ID无法执行脚本docker-compose Docker容器启动失败！ 提前致谢。
