Tag: 集群计算

是否有可能使用docker启动多物理节点hadoop clustster?

我已经看到了在多台物理机器上启动Docker并将它们连接到hadoop集群的方法,到目前为止我只find了在一台机器上本地启动集群的方法。 有没有办法做到这一点?

大使在分布式系统中的概念是什么?

有人能够简单地向我解释集体计算大使的架构概念吗? 在微服务架构模式中实现它有什么好处? 我最近一直在研究docker和docker群,而且我已经看到这个术语在不同的文章或回购中被重复提及。 例如,在这个惊人的项目中 ,他们有一个名为docker-ambasssador的仓库 。 或者这个其他项目叫做ctlc-docker-ambassador 。

Docker 1.12 Swarm节点IP

有没有办法如何获得集群节点的IP? 在“老”群中有可以在pipe理器机器上运行的命令。 docker exec -it <containerid> /swarm list consul://xxxx:8500

为无状态Web应用程序创build多节点Kubernetes群集

我试图理解处理有几个节点和一个主节点的Kubernetes集群的好方法。 我在我的公司的云中托pipe集群,简单的Ubuntu的盒子(所以没有谷歌云或AWS)。 每个pod包含webapp(无状态),我通过复制控制器运行任意数量的pod。 我看到,与服务,我可以申报PublicIPs但是这是令人困惑,因为在添加我的奴才节点的IP地址后,每个IP只公开它运行的pod,它不会做任何forms的负载平衡。 由于这个原因,如果一个节点没有任何活动的pod运行(因为创build的pod是在节点间随机分配的),它只是超时,并且我结束了一些不响应的IP地址。 我理解这个错误吗? 我怎样才能真正做我的networking应用程序的正确的外部负载平衡? 我应该在Pod级别上进行负载平衡而不是使用Service? 如果是这样,豆荚被认为是致命的,他们可能dynamic死亡和出生,我怎么跟踪这个?

join位于不同Docker容器中的serf节点时出现问题

上下文:主机是AWS-EC2 / Ubuntu 14.04.5,Docker版本为17.05.0-ce。 容器是从公开可用的回购图像cbhihe/serf-alpine-bash 。 所有容器都位于同一个EC2实例中,并与net-interface“docker0”共享相同的默认网桥networking。 尝试通过从主机的shell传递cmd来join节点serfDC1(id d4fd90692e18)和serfDC2(id 6353e7f6134d): $ docker exec serfDC1 serf agent -node=Node1 -bind=0.0.0.0:7946 ==> Starting Serf agent… ==> Starting Serf agent RPC… ==> Serf agent running! Node name: 'd4fd90692e18' Bind addr: '0.0.0.0:7946' RPC addr: '127.0.0.1:7373' Encrypted: false Snapshot: false Profile: lan ==> Log data will now stream in as it […]

Docker容器集群中的Elasticsearch

我想在2个不同主机上运行2个ElasticSeach实例。 我已经build立了基于Ubuntu 14.04和1.3.2版本的elasticsearch的Docker镜像。 如果我在1主机上运行2 ES的容器,每个实例看到另一个可以通信,但是当我在2个不同的主机上运行ES的2个实例时,它不工作。 容器的9300端口绑定到9300主机的端口。 我的问题是:可以用我的configuration创build一个ES群集? 最好的问候,卢卡斯对手

在Docker容器上运行hadoop集群

我想运行一个多节点的hadoop集群,其中每个节点都位于不同主机上的docker容器中。 这个图像 – https://github.com/sequenceiq/hadoop-docker很好地启动hadoop在伪分布式模式,什么是最简单的方法来修改这个每个节点在一个单独的ec2主机不同的容器?

带有Docker的多节点Hadoop集群

我在基于Docker的环境中处于多节点Hadoop集群的规划阶段。 所以它应该基于一个轻量级易用的虚拟化系统。 当前体系结构(关于文档)包含1个主节点和3个从节点。 该主机使用HDFS文件系统和KVM进行虚拟化。 整个云由Cloudera Manager 。 这个群集上安装了几个Hadoop模块。 还有一个NodeJS数据上传服务。 这一次,我应该使架构的Docker基础。 我已经阅读了几个教程,并有一些意见,但也提出了一些问题。 答:您认为, https://github.com/Lewuathe/docker-hadoop-cluster是我的项目的良好基础? 我也发现了一个官方的形象 ,但它是单节点。 B.如果我想在一个容器中做这个,系统需求如何改变? 这将是很好的,因为这个架构应该在不同的位置工作,所以变化可以很容易地在这些位置之间转移。 这些所谓的克隆之间的同步将是重要的。 C.你有其他的想法,也许最好的做法?

docker引擎群模式需要服务发现

我很困惑docker群。 据我所知,运行swarm的旧方法是在docker引擎为swarm模式提供原生支持之前运行容器中的经理和工作人员。 旧的集装箱群的文档解释了如何使用consul,etcd或zookeeperbuild立服务发现。 服务发现是必要的,因为服务在随机端口运行以避免冲突,对吧? docker引擎群模式的文档没有解释如何设置服务发现。 现在我很困惑,如果机制被纳入群模式,或者是文件不完整。 我在哪里可以find关于群集模式的最新解释,以及它如何与服务发现等概念相关联?

CoreOS中的共享IP

我正在研究在工作中使用CoreOS以及几个我不想单点故障的项目。 CoreOS和Docker看起来很有希望,我可以让hipache和一个大使容器交谈,与服务交谈。 基本上,它可以工作。 但是共享的公共IP呢? 这个问题应该如何解决? 我找不到任何好的文档。 http://www.keepalived.org/看起来像是可以解决这个问题的东西。 但在这种情况下是否正确? 我在这里错过了什么? 为什么没有人更多地谈论这个问题呢?