Tag: apache zookeeper

jenkins使用Ansible部署到docker群: 在我的环境中，我们使用Ansible从Jenkins部署到Docker群，通过覆盖networking扩展它，使用Consul和Zookeeper等发现服务，我的问题是我们如何扩大节点，领事如何知道关键值，如何定义docker群的框架工作

无法连接Kafka到Zookeeper: 从docker-compose我得到了这个yml： version: '2' services: zookeeper: container_name: zookeeper image: confluentinc/cp-zookeeper:3.1.1 ports: – "2080:2080" environment: – ZOOKEEPER_CLIENT_PORT=2080 – ZOOKEEPER_TICK_TIME=2000 kafka: container_name: kafka image: confluentinc/cp-kafka:3.1.1 ports: – "9092:9092" environment: – KAFKA_CREATE_TOPICS=Topic1:1 – KAFKA_ZOOKEEPER_CONNECT=192.168.99.100:2080 – KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.99.100:9092 depends_on: – zookeeper schema-registry: container_name: schema-registry image: confluentinc/cp-schema-registry:3.1.1 ports: – "8081:8081" environment: – SCHEMA_REGISTRY_KAFKASTORE_CONNECTION_URL=192.168.99.100:2080 – SCHEMA_REGISTRY_HOST_NAME=localhost depends_on: – zookeeper – kafka 当我站起来这个docker时，控制台输出结束于： schema-registry […]

使用zookeeper来发现运行docker的mesos slave: 我正在尝试使用mesos / marathon框架链接2个docker集装箱。据我所知，没有办法使用mesos / martahon中的docker链接function。所以前进的方式是使用服务发现。由于zookeeper已经被使用了，我的问题是如何使用zookeeper进行服务发现，这样一个容器就可以和另一个容器通话。

创build主题，但在Kubernetes上使用Python获取Kafka FailedPayloadsError: 我在Python kafka库中使用SimpleProducer。这个脚本已经完美的工作，以前我尝试过的其他更硬configuration的卡夫卡设置。 kafka = KafkaClient(u'[masterNodeIp]:[servicePort]') producer = SimpleProducer(kafka) #make a simple message, while true run producer.send_messages(b'oneMoreTopic', sentence) 在运行这个脚本之后，我在python控制台中得到了这个响应。 kafka.common.LeaderNotAvailableError: TopicMetadata(topic='oneMoreTopic', error=5, partitions=[]) 然后我可以在我的zookeeper.log中进入我的Node并查看： 2015-09-14 12:16:32,276 – INFO [ProcessThread(sid:3 cport:-1)::PrepRequestProcessor@627] – Got user-level KeeperException when processing sessionid:0x34fcb982d030000 type:setData cxid:0x71 zxid:0x1000000d8 txntype:-1 reqpath:n/a Error Path:/config/topics/oneMoreTopic Error:KeeperErrorCode = NoNode for /config/topics/oneMoreTopic 2015-09-14 12:16:32,278 – INFO [ProcessThread(sid:3 cport:-1)::PrepRequestProcessor@627] […]

卡夫卡和动物园pipe理员之间的注册stream程: 在尝试dockerize kafka和zookeeper时遇到一些问题。那么你们可以通过图表或者其他方式帮助我理解卡夫卡和动物园pipe理员之间的stream程吗？ zookeeper是否需要连接kafka服务器的端口9092？提前致谢。

哪一个主机名可以从一组动物园pipe理员中select: 我是分布式系统的新手，我正在使用docker来build立一组动物园pipe理员。例如，我有三个动物园pipe理员开始： services: zoo1: image: zookeeper restart: always ports: – 2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 zoo2: image: zookeeper restart: always ports: – 2181 environment: ZOO_MY_ID: 2 ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 zoo3: image: zookeeper restart: always ports: – 2181 environment: ZOO_MY_ID: 3 ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 为了启动一个kafka ，我必须configuration它的server.properties 。在zookeeper.connection = localhost：2181例子中，我应该在这里configuration什么？ […]

卡夫卡docker工人 – 不能从docker集装箱外生产或消费: 卡夫卡在docker集装箱工作正常。我可以使用docker exec -it [container name] [kafkascript]并成功创build主题，生成/使用消息，但是当我使用本地kafka脚本从Docker容器之外进行尝试时，我只能创build和列出主题。生成和使用消息会引发错误：制作： ~/development/lib/kafka/kafka_2.11-0.10.0.0$ bin/kafka-console-producer.sh –broker-list $(docker-machine ip kafka):9092 –topic test asdf [2016-09-18 10:13:48,999] ERROR Error when sending message to topic test with key: null, value: 4 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.TimeoutException: Batch containing 1 record(s) expired due to timeout while requesting metadata from brokers for test-0 消费： […]

Mesos + ZooKeeper不能正常工作: 我一直在build立一个由3个节点（A，B，C）组成的Mesos集群，在每个Docker容器中运行Mesos Master / Slave和ZooKeeper进程。由于使用Ansible执行包括docker docker run集群设置，因此除了节点特定的configuration（主机名，zookeeper_myid等）之外，3个节点之间应该没有区别。问题是… Zookeeper节点A上的警告 Zookeeper 仅在节点A上显示以下消息。 2015-05-25 03:28:06,060 [myid:] – INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] – Accepted socket connection from /<ip-nodeA>:58391 2015-05-25 03:28:06,060 [myid:] – WARN [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@822] – Connection request from old client /<ip-nodeA>:58391; will be dropped if server is in ro mode 2015-05-25 03:28:06,060 [myid:] – INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@841] – Refusing session request […]

对于基于Docker容器的实现，在同一个容器中运行一对Kafka服务器和Zookeeper服务器是否有意义？: 我试图实现一个由kafka服务器的三个节点组成的kafka集群和使用docker容器的zookeeper服务器的三个节点，以下哪一个是首选的？或者两者都不是，首选方法是什么？三个docker集装箱每个托pipe一个卡夫卡/动物园pipe理员服务器对六个docker集装箱，其中三个用于卡夫卡服务器，另外三个用于动物园pipe理员服务器我这样问，因为在我看来，像三节点Zookeeper集群只能存在单节点故障，而三节点Kafka集群可能存在双节点故障（您可能必须将主题复制因子设置为3）。那么在不同的容器中运行它们是否更好呢？说起来，启动一个新的Docker容器的代价是多less？如果我build议为每个容器运行一个服务器，是否更倾向于为每种服务器构build一个定制的Docker镜像（在这种情况下，一个用于kafka的另一个Docker镜像，另一个用于zookeeper），或者为所有不同的统一镜像服务器？我猜测为kafka和zookeeper创build两个单独的图像是没有意义的，但是如果我拥有所有不同种类的集群和服务器，则认为elasticsearch要模拟？在什么时候开始有意义地创build不同的docker图像以便在单个项目中使用？

Spark挂在Docker Mesos集群的身份validation上: 我试图模拟使用Docker和Zookeeper的多节点Mesos集群，并试图在其上运行一个简单的（py）Spark作业。这些Docker容器和pyspark脚本都在同一台机器上运行。但是，当我执行我的Spark脚本，它挂在： No credentials provided. Attempting to register without authentication Mesos从站不断输出： I0929 14:59:32.925915 62 slave.cpp:1959] Asked to shut down framework 20150929-143802-1224741292-5050-33-0060 by master@172.17.0.73:5050 W0929 14:59:32.926035 62 slave.cpp:1974] Cannot shut down unknown framework 20150929-143802-1224741292-5050-33-0060 Mesos大师不断输出： I0929 14:38:15.169683 39 master.cpp:2094] Received SUBSCRIBE call for framework 'test' at scheduler-2f4e1e52-a04a-401f-b9aa-1253554fe73b@127.0.1.1:46693 I0929 14:38:15.169845 39 master.cpp:2164] Subscribing framework test with […]