Tag: 卡夫卡

卡夫卡用docker使用kafka-rb设置客户端

对卡夫卡来说，我是完全陌生的，而且我也遇到了麻烦。 我使用docker-compose为docker设置了“wurstmeister / kafka-docker”： zookeeper: image: wurstmeister/zookeeper ports: – "2181:2181" kafka: image: wurstmeister/kafka ports: – "9092:9092" links: – zookeeper:zk environment: KAFKA_ADVERTISED_HOST_NAME: 192.168.59.103 # KAFKA_AUTO_CREATE_TOPCIS_ENABLE: 'true' KAFKA_CREATE_TOPICS: "events:1:1" volumes: – /var/run/docker.sock:/var/run/docker.sock 对于生产者和消费者，我使用ruby“kafka-rb”。 制片人： require 'kafka' producer = Kafka::Producer.new({ host: "192.168.59.103", port: 9092, topic: "events" }) 1000000.times do |i| message = Kafka::Message.new("Message #{i}") producer.push(message) end 消费者： 要求'kafka' […]

我怎么能在minimesos中使用marathon启动kafka调度器？

我正在尝试使用docker容器启动kafka-mesos框架调度程序，详见https://github.com/mesos/kafka/tree/master/src/docker#running-image-in-marathon，使用Marathon实现在minimesos（我想添加一个minimesos标签，但没有点）运行。 该应用程序已注册，可以在Marathon控制台中看到，但仍处于等待状态，Deployment GUI表示正在尝试ScaleApplication。 我试过在马拉松和mesos-master容器中寻找/ var / log文件，可能会说明为什么会发生这种情况。 最初我以为它可能是因为图像没有拉，所以我添加了"forcePullImage": true的JSON应用程序configuration，但它仍然等待。 我也把networking从HOST改成了BRIDGE，假设这与http://minimesos.readthedocs.org/en/latest/上的minimesos警告是一致的。 在mesos日志中，我确实看到： I0106 20:07:15.259790 15 master.cpp:4967] Sending 1 offers to framework 5e1508a8-0024-4626-9e0e-5c063f3c78a9-0000 (marathon) at scheduler-575c233a-8bc3-413f-b070-505fcf138ece@172.17.0.6:39111 I0106 20:07:15.266100 9 master.cpp:3300] Processing DECLINE call for offers: [ 5e1508a8-0024-4626-9e0e-5c063f3c78a9-O77 ] for framework 5e1508a8-0024-4626-9e0e-5c063f3c78a9-0000 (marathon) at scheduler-575c233a-8bc3-413f-b070-505fcf138ece@172.17.0.6:39111 I0106 20:07:15.266633 9 hierarchical.hpp:1103] Recovered ports(*):[33000-34000]; cpus(*):1; mem(*):1001; disk(*):13483 (total: ports(*):[33000-34000]; cpus(*):1; mem(*):1001; […]