Tag: 纱

Spark如何限制CPU核心和内存的使用？

Spark如何限制cpu核心和内存的使用？它是否使用cgroups？ 纱线怎么样？

Docker上的Hadoop（纱线）控制资源消耗（CPU和RAM）

我有一个运行在Docker上的hadoop（2.7.3，伪集群节点，单节点）。 该docker运行在64核心的128位至强处理器的Xeon机器上。 在执行mapreduce的时候，我可以从一眼看出，它有CPU使用率的峰值，有时超过100％。 短跑进程的尖峰（我可以看到它是那些hadoop进程之一）。 op，我将最高输出（批处理模式）转储到一个文件，并对文件执行运行后检查。 我得到这个有问题的命令： /opt/jdk/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx200m -Djava.io.tmpdir=/tmp/hadoop-hadoop/nm-local-dir/usercache/hadoop/appcache/application_1494685463128_0031/container_1494685463128_0031_01_000008/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/usr/local/hadoop/logs/userlogs/application_1494685463128_0031/container_1494685463128_0031_01_000008 -Dyarn.app.container.l+ 究竟是什么？ 它仍然被截断，尽pipe我已经在shell上完成了这个技巧： export COLUMNS=$((COLUMNS*48)) export LINES=$((LINES/48)) top -c -b -n 2000000 > eventsbatcher.top.out 无论如何，这是hadoop; 并可能是节点pipe理器（？）。 如何驯服它？ 我应该在Docker级别上驯服它（确保没有容器使用超过X的CPU / RAM），还是应该在hadoop方面控制它？ 或两者？ 我想这应该是两个。 在hadoop方面，实际上我已经在我的yarn-site.xml中有这个了。 我怎么知道它被尊重？ 这+ 100％的CPU使用率让我觉得这个特别的configuration不被尊重。 也许我错了。 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>8192</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>8</value> </property> docker方呢？ 如何限制/驯服我的hadoop容器？ 在此先感谢答案/指针！

Spark Docker – 无法访问资源pipe理器的Web UI – Mac PC

无法访问资源pipe理器Web UI – Spark Docker容器 – Mac PC 这些是我做的步骤： docker拉序列号/火花：1.6.0 docker run -it -p 8088：8088 -p 8042：8042 -p 4040：4040 -h sandbox sequenceiq / spark：1.6.0 bash 我使用这个testing:(运行良好） 运行火花shell 火花shell\ – 主纱客户端\ – 驱动程序内存1克\ –executor内存1克\ –executor核心1 执行下面的命令应该返回1000 scala> sc.parallelize（1 to 1000）.count（） 但是不能访问web ui： 我试过了： 一个。 ：8088 b： http：// sandbox：8088 / proxy / application_1458858022274_0002 / A c：localhost：8088 没有任何作品..任何帮助？ […]

如何在不同的主机上从外部访问docker container（overlay）中运行的服务

我有一个在覆盖networking上运行的docker容器。 我的要求是从不同的主机在外部到达在这个容器中运行的服务。 该服务绑定到容器的内部IP地址，在这种情况下做端口绑定到主机不是一个解决scheme。 实际情景 ： 在容器内运行的服务是使用yarn-clientconfiguration的spark驱动程序 。 火花驱动程序绑定到容器内部IP（10.xxx）。 当火花驱动程序与在不同簇上运行的hadoop纱线进行通信时，纱线上的应用程序主设备试图通过驱动程序的容器内部ip进行通信，但是由于明显的原因它不能在内部IP上连接驱动程序。 请让我知道是否有办法实现从应用程序主（纱）到火花驱动（docker集装箱）的成功沟通。 Swarm版本：1.2.5 docker info: Containers: 3 Running: 2 Paused: 0 Stopped: 1 Images: 42 Server Version: swarm/1.2.5 Role: primary Strategy: spread Filters: health, port, containerslots, dependency, affinity, constraint Nodes: 1 ip-172-30-0-175: 172.30.0.175:2375 └ ID: YQ4O:WGSA:TGQL:3U5F:ONL6:YTJ2:TCZJ:UJBN:T5XA:LSGL:BNGA:UGZW └ Status: Healthy └ Containers: 3 (2 Running, 0 Paused, 1 […]

如何在多租户环境中将Hadoop中的各个应用程序进行dockerize？

我已经看到HortonWorks将完整的Hadoop放在Docker中，允许在不同的环境中安装Hadoop。 但是在YARN上运行的Hadoop中的单个应用程序如何？ 特别是在多租户环境中，这将是有用的。 欣赏关于如何实现这一目标的任何想法。

资源pipe理器没有节点

编辑：我看了YARN Resourcemanager不连接到nodemanager和解决scheme不适合我。 我附加了连接到资源pipe理器的节点pipe理器日志部分： [main] client.RMProxy (RMProxy.java:createRMProxy(98)) – Connecting to ResourceManager at /0.0.0.0:8031 2016-06-17 19:01:04,697 INFO [main] nodemanager.NodeStatusUpdaterImpl (NodeStatusUpdaterImpl.java:getNMContainerStatuses(429)) – Sending out 0 NM container statuses: [] 2016-06-17 19:01:04,701 INFO [main] nodemanager.NodeStatusUpdaterImpl (NodeStatusUpdaterImpl.java:registerWithRM(268)) – Registering with RM using containers :[] 2016-06-17 19:01:05,815 INFO [main] ipc.Client (Client.java:handleConnectionFailure(867)) – Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 0 time(s); […]

我可以使用Kerberos在Yarn上运行DCE（Docker Container Executor）吗？

hadoop文档指出DCE不支持具有安全模式的集群（Kerberos）： https ： //hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/DockerContainerExecutor.html 人们正在为此工作吗？ 有没有办法解决这个限制？