Tag: cloudera

资源pipe理器没有节点: 编辑：我看了YARN Resourcemanager不连接到nodemanager和解决scheme不适合我。我附加了连接到资源pipe理器的节点pipe理器日志部分： [main] client.RMProxy (RMProxy.java:createRMProxy(98)) – Connecting to ResourceManager at /0.0.0.0:8031 2016-06-17 19:01:04,697 INFO [main] nodemanager.NodeStatusUpdaterImpl (NodeStatusUpdaterImpl.java:getNMContainerStatuses(429)) – Sending out 0 NM container statuses: [] 2016-06-17 19:01:04,701 INFO [main] nodemanager.NodeStatusUpdaterImpl (NodeStatusUpdaterImpl.java:registerWithRM(268)) – Registering with RM using containers :[] 2016-06-17 19:01:05,815 INFO [main] ipc.Client (Client.java:handleConnectionFailure(867)) – Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 0 time(s); […]

Docker容器中的Hadoop更快/值得吗？: 我有一个基于Hadoop的环境。我在这个系统中使用了Flume ， Hue和Cassandra 。现在Docker有一个很大的炒作，所以想研究一下Docker在这种情况下的优缺点。我认为它应该更便携，但可以使用Cloudera Manager进行设置，只需点击几下鼠标即可。这可能是更快或为什么值得吗？有什么好处？也许应该只有多节点Cassandra集群dockerized？

带有Docker的多节点Hadoop集群: 我在基于Docker的环境中处于多节点Hadoop集群的规划阶段。所以它应该基于一个轻量级易用的虚拟化系统。当前体系结构（关于文档）包含1个主节点和3个从节点。该主机使用HDFS文件系统和KVM进行虚拟化。整个云由Cloudera Manager 。这个群集上安装了几个Hadoop模块。还有一个NodeJS数据上传服务。这一次，我应该使架构的Docker基础。我已经阅读了几个教程，并有一些意见，但也提出了一些问题。答：您认为， https://github.com/Lewuathe/docker-hadoop-cluster是我的项目的良好基础？我也发现了一个官方的形象，但它是单节点。 B.如果我想在一个容器中做这个，系统需求如何改变？这将是很好的，因为这个架构应该在不同的位置工作，所以变化可以很容易地在这些位置之间转移。这些所谓的克隆之间的同步将是重要的。 C.你有其他的想法，也许最好的做法？

HDFS作为cloudera快速入门docker中的卷: 对于hadoop和docker我都是新手。我一直在努力扩展cloudera / quickstart docker镜像docker文件，并希望挂载一个目录表单主机并将其映射到hdfs位置，以便提高性能并保持数据在本地保存。当我用-v /localdir:/someDir在任何地方挂载音量时，一切正常，但这不是我的目标。但是当我做-v /localdir:/var/lib/hadoop-hdfs datanode和namenode都无法启动，我得到：“cd / var / lib / hadoop-hdfs：Permission denied”。当我做-v /localdir:/var/lib/hadoop-hdfs/cache没有权限但datanode和namenode，或者其中之一无法启动泊坞窗图像，我无法find任何有用的信息在日志关于这个原因的文件。 Mayby有人遇到这个问题，或者有其他的解决scheme把hdfs放在docker集装箱外面？