Tag: 阿帕奇卡夫卡

不能生产 – 或消费 – 从容器内运行的卡夫卡经纪人: configuration 我正在使用docker hub的confluent / kafka图像来启动两个独立容器中的zookeeper和kafka实例。我用来启动容器的命令如下： docker run –rm –name zookeeper -p 2181:2181 confluent/zookeeper docker run –rm –name kafka -p 9092:9092 –link zookeeper:zookeeper confluent/kafka 我有两个容器zookeeper和kafka现在运行。请注意，我已经将容器的端口2181和9092映射到我的主机端口。我通过在我的浏览器中尝试使用localhost：2181/9092来validation这个映射是否正常工作，并且在运行容器的terminal中出现了一些错误。然后，我通过在主机中发出以下命令来创build主题： ./bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test 这是成功的，我通过使用以下命令列出主题来validation它： ./bin/kafka-topics.sh –list –zookeeper localhost:2181 现在问题：我正在尝试使用以下命令向代理发送一些消息： ./bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test 我收到以下exception： [2017-03-02 20:36:02,376] WARN Failed […]

如何使用docker命令将主题添加到正在运行的kafka容器？: 我有一个卡夫卡容器开始使用以下 docker run –detach –name kafka -p 2181:2181 -p 9092:9092 –env ADVERTISED_HOST=192.168.1.89 –env ADVERVTISED_PORT=9092 –env AUTO.CREATE.TOPICS.ENABLE spotify/kafka 我可以使用docker日志卡夫卡看到它的开始。然后，我创build了一个简单的groovy脚本客户端生产者写入一些条目，但是这不断错误 > Sending metadata request {topics=[wills topic]} to node 0 > Error while fetching metadata with correlation id 1 : {wills topic=INVALID_TOPIC_EXCEPTION} …. 我在客户端代码中设置了以下属性 Properties props = new Properties() props.put("bootstrap.servers", "192.168.1.89:9092" ) //Assign localhost id and external […]

Kafka生产者抛出“TimeoutException：批次过期”exception: 我正在testing用于twitter的Spring Cloud Stream App，用以下与Kafka相关的环境属性启动Docker容器， KAFKA_ADVERTISED_HOST_NAME=192.168.127.188 advertised.host.name=192.168.127.188:9092 spring.cloud.stream.bindings.output.destination=twitter-source-test spring.cloud.stream.kafka.binder.brokers=192.168.127.188:9092 spring.cloud.stream.kafka.binder.zkNodes=192.168.127.188:2181 我的kafka producerConfig值如下， 2017-01-12 14:47:09.979 INFO 1 — [itterSource-1-1] oakclients.producer.ProducerConfig : ProducerConfig values: compression.type = none metric.reporters = [] metadata.max.age.ms = 300000 metadata.fetch.timeout.ms = 60000 reconnect.backoff.ms = 50 sasl.kerberos.ticket.renew.window.factor = 0.8 bootstrap.servers = [192.168.127.188:9092] retry.backoff.ms = 100 sasl.kerberos.kinit.cmd = /usr/bin/kinit buffer.memory = 33554432 timeout.ms = 30000 key.serializer […]

我们可以使用在生产中docker化的Apache Kafka吗？: 我想知道使用Docker作为Apache Kafka这样的stream媒体平台会有什么好处和坏处。这个设置可以用于生产吗？我正在学习一些卡夫卡和docker工人，对于两者都是新手，所以保持冷静，并试图解决我的怀疑:)

未能解决'kafka：9092'：名称或服务未知 – docker / php-rdkafka: 我试图让PHP连接到docker集装箱内的所有卡夫卡。 kafka php lib – https://github.com/arnaud-lb/php-rdkafka/ kafkadocker集装箱 – https://hub.docker.com/r/wurstmeister/kafka/ 一切正在build设和运行好，但是当我尝试与PHP生产者连接，我得到以下几点： httpd_1 | %3|1490816385.542|FAIL|rdkafka#producer-1| [thrd:kafka:9092/bootstrap]: kafka:9092/bootstrap: Failed to resolve 'kafka:9092': Name or service not known httpd_1 | %3|1490816385.543|ERROR|rdkafka#producer-1| [thrd:kafka:9092/bootstrap]: kafka:9092/bootstrap: Failed to resolve 'kafka:9092': Name or service not known httpd_1 | %3|1490816385.543|ERROR|rdkafka#producer-1| [thrd:kafka:9092/bootstrap]: 1/1 brokers are down 我在PHP中使用以下内容 $rk = new RdKafka\Producer(); $rk->setLogLevel(LOG_DEBUG); $rk->addBrokers("kafka"); $topicConf = […]

使用波塞冬的错误：波塞冬::错误:: UnableToFetchMetadata: 我试图用卡夫卡容器使用波塞冬gem。但是，我不断收到以下错误： Poseidon::Errors::UnableToFetchMetadata 任何想法如何解决这个错误？

无法从外部机器连接到kafka: 我从Apache Kafka开始，当我尝试从外部机器连接时遇到问题。使用下面的configuration，如果应用程序和docker在同一台机器上运行，所有工作正常。但是当我把应用程序放在机器A和docker在机器B时，应用程序无法连接。我的springKafka @Configuration有这一行到@Bean consumerFactory和producerFactory（想象我的机器与dockerIP = 10.10.10.10） props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.10.10.10:9092"); 而我的docker文件是这样的： version: '2' services: zookeeper: image: wurstmeister/zookeeper:3.4.6 ports: – 2181:2181 kafka: image: wurstmeister/kafka:0.10.1.1 environment: KAFKA_ADVERTISED_HOST_NAME: 0.0.0.0 KAFKA_ADVERTISED_PORT: 9092 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_CREATE_TOPICS: "topic-jhipster:1:1,PROCESS_ORDER:1:1, PROCESS_CHANNEL:1:1" JMX_PORT: 9999 KAFKA_JMX_OPTS: "-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=127.0.0.1 -Dcom.sun.management.jmxremote.rmi.port=9999" ports: – 9092:9092 – 9999:9999 kafka-manager: image: sheepkiller/kafka-manager ports: – 9000:9000 links: – […]