Tag: apache zookeeper

如何在Docker中设置Zookeeper的dataDir（fig.yml）

我已经为Dockerconfiguration了一个fig.yml文件中的Zookeeper和Kafka容器。 两个容器都能正常工作 但是在发送了一些消息之后，我的应用程序/ zk-client挂起了。 在检查zookeeper日志时，我看到错误： Error Path:/brokers Error:KeeperErrorCode = NoNode for /brokers 我的fig.yml如下所示： zookeeper: image: wurstmeister/zookeeper ports: – "2181:2181" environment: ZK_ADVERTISED_HOST_NAME: xx.xx.x.xxx ZK_CONNECTION_TIMEOUT_MS: 6000 ZK_SYNC_TIME_MS: 2000 ZK_DATADIR: /path/to/data/zk/data/dir kafka: image: wurstmeister/kafka:0.8.2.0 ports: – "xx.xx.x.xxx:9092:9092" links: – zookeeper:zk environment: KAFKA_ADVERTISED_HOST_NAME: xx.xx.x.xxx KAFKA_LOG_DIRS: /home/svc_cis4/dl volumes: – /var/run/docker.sock:/var/run/docker.sock 我已经search了很长一段时间，但我还没有得到解决scheme。 我也尝试使用ZK_DATADIR设置fig.yml中的数据目录：'/ path / to / zk / data / […]

在同一台机器上的两个docker客人中创build卡夫卡经纪人和动物园pipe理员有什么优点和缺点？

我正在创build一个包含3个卡夫卡经纪人和3个动物园pipe理员的卡夫卡数据pipe道，所以我需要使用6台机器部署3个经纪人和3个动物园pipe理员。 有两种方法可以减less所用机器的数量 1）为了保持1卡夫卡经纪人和1动物园pipe理员在同一台物理机器，我在网上search，find了会有延迟问题，因为卡夫卡经纪人和动物园pipe理员都使用相同的内存 2）使用docker并在一台机器中为zookeeper和broker创build两个continer，并限制zookeeper容器的RAM，以便kafka broker采用更多的RAM并减less延迟 我想知道我的两个用例的更多优点和缺点 保持动物园pipe理员和经纪人使用容器在同一台机器是一个好习惯 提前致谢

使用Kafka，Zookeeper和MongoDB Dockerize Spring Boot Java应用程序

一般来说，我是Docker和Web应用程序的初学者。 我必须Dockerize一个使用Kafka，Zookeeper和MongoDB的大型Spring Boot Java应用程序。 它也使用Gradle构build工具。 什么是最好的方法来Dockerize这个应用程序？ 我应该Dockerize在一个图像，或每个组件的一个单独的图像？ 另外，如何在Dockerfile中joinGradle构build工具？ 谢谢！

在没有Zookeeper的Docker Swarm（1.12）上启动Solr云

我通过Vagrant在3个CoreOS机器上运行Docker Swarm 1.12。 在群集上启动Solr云的最佳方式是什么？ 我需要Zookeeper吗？ 我已经得到了这个： docker service create –mode=global –name solr -p 8983:8983 solr:5.3.1 bash -c "/opt/solr/bin/solr start -f -c" 但是云是空的，因为它不知道其他2台机器，我怎么能在这里使用Swarm的力量？

竹Mesos马拉松

我正在为我的Mesos和Marathon集群设置Bamboo（ https://github.com/QubitProducts/bamboo ）。 目前，我的马拉松实例正在运行，具有以下参数： MARATHON_EVENT_SUBSCRIBER=http_callback MARATHON_HTTP_ENDPOINTS=http://my-marathon-server/callback 跑marathon告诉我以下内容： run_jar –zk zk://my-marathon-server:2181/marathon –master zk://my-marathon-server:2181/mesos 一切似乎都运作良好与Mesos +马拉松。 但是，当我在我的一个Mesos Slaves上运行Bamboo时，出现以下错误： 2015-12-02 03:15:32,525 INFO spawned: 'bamboo' with pid 20 2015-12-02 03:15:32,546 DEBG 'bamboo' stdout output: 2015/12/02 03:15:32 Using environment override MARATHON_ENDPOINT=http://my-marathon-server:8080 2015/12/02 03:15:32 Using environment override BAMBOO_ENDPOINT=http://my-bamboo-server(mesos-slave):8000 2015/12/02 03:15:32 Using environment override BAMBOO_ZK_HOST=my-marathon-server:2181 2015/12/02 03:15:32 Using environment override BAMBOO_ZK_PATH=/bamboo 2015/12/02 […]

Zookeeper我的ID不在对等列表中

我正在Docker中部署dynamicZookeeper集群。 我有它几乎完整，但我卡在一个领域：dynamicconfiguration参数。 我有一个入口脚本，读取传递给它的环境variables有关它自己的ID和其他Zookeeper服务器的IP。 在Zookeeper启动之前，它把它的id写到/tmp/zookeeper/$MYID/myid ，这个例子是1.我也写server.1=$MY_IP:2888:3888到zoo.cfg文件。 如果我试着用zkServer.sh start-foreground启动Zookeeper，那么它的错误是： root@7f23a5d1e5a1:/# zkServer.sh start-foreground JMX enabled by default Using config: /opt/zookeeper/bin/../conf/zoo.cfg 2015-12-15 21:37:35,552 [myid:] – INFO [main:QuorumPeerConfig@109] – Reading configuration from: /opt/zookeeper/bin/../conf/zoo.cfg 2015-12-15 21:37:35,556 [myid:] – ERROR [main:QuorumPeerMain@86] – Invalid config, exiting abnormally org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: parameter: server.1 must be in a separate dynamic config file at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseProperties(QuorumPeerConfig.java:244) at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:126) at […]

Docker – 将IP地址公开给DNS服务器

看看我的docker主机的iptables我得到这样的东西： sudo iptables -L Chain INPUT (policy ACCEPT) target prot opt source destination Chain FORWARD (policy ACCEPT) target prot opt source destination DOCKER all — anywhere anywhere ACCEPT all — anywhere anywhere ctstate RELATED,ESTABLISHED ACCEPT all — anywhere anywhere ACCEPT all — anywhere anywhere Chain OUTPUT (policy ACCEPT) target prot opt source destination Chain DOCKER […]

Kafka无法parsingZookeper的DNS名称

我有一个卡夫卡0.10.1.0集群（2个节点）和动物园pipe理员3.4.6（3个节点） 遵循本教程 ，集群托pipe在Kubernetes上。 Kafka的server.properties相关条目： listeners=PLAINTEXT://0.0.0.0:9092 advertised.listeners=PLAINTEXT://kafka.internal.<companyname>.com:9092 zookeeper.connect=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181 服务器启动后，每个Kafka代理快速失败，如下所示。 对我来说，它看起来像无法parsingDNS名称zookeeper-1 。 我也尝试从zookeeper.connect删除端口，虽然我读了相关的代码 ，我不相信会有所作为。 当然，我确认zookeeper-1可以从集群内解决。 群集中的其他容器可以parsing名称。 我还尝试了一系列别名，包括服务的DNS名称和Zookeeper的负载均衡器，这些都是我独立确认的工作。 在每种情况下，卡夫卡单独报告Name or service not known 。 [2016-11-22 19:55:45,506] INFO Initiating client connection, connectString=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181 sessionTimeout=6000 watcher=org.I0Itec.zkclient.ZkClient@7722c3c3 (org.apache.zookeeper.ZooKeeper) [2016-11-22 19:56:05,571] INFO Terminate ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread) [2016-11-22 19:56:05,572] FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) org.I0Itec.zkclient.exception.ZkException: Unable to connect […]

Docker将容器地址注册为Zookeeper上的主机

我试图实现一个可以提供双向通信的Docker容器。 这个容器出现时，注册在局域网上的动物园pipe理员。 Dockerfile在下面提供。 FROM java:7 EXPOSE 7100 ARG version ENV version=$version ARG port ENV port=$port RUN mkdir -p /cacheDir/services/live/prediction/p$port/$version/logs RUN ls -tlr /cacheDir/services/live/prediction/p$port/ RUN mkdir -p /cacheDir/services/releases/prediction/p$port/$version/ RUN mkdir -p /cacheDir/services/predictionmodel ADD target/predictionDependencies/* /cacheDir/services/predictionmodel/ ADD /target/prediction-0.0.13-SNAPSHOT.jar /cacheDir/services/releases/prediction/p$port/$version/prediction-0.0.13-SNAPSHOT.jar ADD /target/instance.properties /cacheDir/services/releases/prediction/p$port/$version/instance.properties ADD /target/logback.xml /cacheDir/services/releases/prediction/p$port/$version/logback.xml RUN ls -ltr /cacheDir/services/live/prediction/p$port/$version/ RUN ls -ltr /cacheDir/services/releases/prediction/p$port/$version/ RUN ls -ltr /cacheDir/services/predictionmodel […]

如何部署一个回声应用程序Marathon（在Mac上的Docker Mesos上）？

我试图在我的本地机器上安装使用Docker的Mesos。 我阅读本教程 ，因为使用Docker for Mac而改变了一点。 我的想法是把动物园pipe理员，主人，马拉松和奴隶组成一个networking进行相互交stream。 我有什么是主节点已经识别奴隶（我说明下图），但我的问题是一个简单的应用程序无法部署回声"hello" >> /tmp/1543Feb19.txt而马拉松已经说实例0/1一盏黄灯。 我已经检查了networking来检查这些容器是否可以通信，但看起来他们可以。 "Containers": { "3d5497bfd7bcde3cbad3113c906628099c7c487fc860a40e301c963630569375": { "Name": "marathon", "EndpointID": "05c4d28d9663df2f2af333d472096082079eef4c8d435dc1db915b795fabd1a7", "MacAddress": "02:42:ac:12:00:04", "IPv4Address": "172.18.0.4/16", "IPv6Address": "" }, "3e72bd6beadd954ec78d3f6ce838f8748408fe6f09b7846e3bcdeb4e938cd138": { "Name": "master", "EndpointID": "93b32998a2eb3b4d3ab6f39abd13f65c98515eaf2a38f25d12e4c3926032fe16", "MacAddress": "02:42:ac:12:00:03", "IPv4Address": "172.18.0.3/16", "IPv6Address": "" }, "46cefc46c6d82d21d60a5d0959140307931d226490dfb739223195b99f82fe2f": { "Name": "zookeeper", "EndpointID": "f91eccae086f3461dbd4620bd93b636b6c63fc5f9118f753e28735c746445869", "MacAddress": "02:42:ac:12:00:02", "IPv4Address": "172.18.0.2/16", "IPv6Address": "" }, "d626436646874e0b81871b567f951751a5b34c2f45a09869ee614adcc9731159": { "Name": "slave_1", […]