Tag: kafka consumer api

Kafkastream应用程序停止与org.apache.kafka.common.errors.TimeoutException

我已经在Dockercomposer php的帮助下安装了Kafka 1.0.0，并且我和两个经纪人成功地运行了这个Kafka。 我用分区手动创build了一个主题，并插入了事件。 现在我正在通过指向这个Kafka来运行带有1.0.0 Kafka Stream的应用程序。 在运行我的应用程序一段时间后，以下消息显示在日志中，并从运行停止。 除生产者request.timeout.ms外，其他所有configuration参数均为默认参数，生产者request.timeout.ms为120秒。 在下面的消息停止之前，我观察了几次'Trying to rejoin the consumer group now. org.apache.kafka.streams.errors.TaskMigratedException:' and 'Caused by: org.apache.kafka.clients.consumer.CommitFailedException:' 'Trying to rejoin the consumer group now. org.apache.kafka.streams.errors.TaskMigratedException:' and 'Caused by: org.apache.kafka.clients.consumer.CommitFailedException:'消息在日志中。 可能的原因是什么？ 请帮帮我。 停止之前的消息： 2017-12-07 06:17:03,122 WARN oakcpiSender [kafka-producer-network-thread | sample-app-0.0.1-7f99fa3f-4487-48dc-af3f-9296ee513452-StreamThread-1-producer] [Producer clientId=sample-app-0.0.1-7f99fa3f-4487-48dc-af3f-9296ee513452-StreamThread-1-producer] Got error produce response with sample id 14099 on topic-partition […]

在同一台机器上的两个docker客人中创build卡夫卡经纪人和动物园pipe理员有什么优点和缺点？

我正在创build一个包含3个卡夫卡经纪人和3个动物园pipe理员的卡夫卡数据pipe道，所以我需要使用6台机器部署3个经纪人和3个动物园pipe理员。 有两种方法可以减less所用机器的数量 1）为了保持1卡夫卡经纪人和1动物园pipe理员在同一台物理机器，我在网上search，find了会有延迟问题，因为卡夫卡经纪人和动物园pipe理员都使用相同的内存 2）使用docker并在一台机器中为zookeeper和broker创build两个continer，并限制zookeeper容器的RAM，以便kafka broker采用更多的RAM并减less延迟 我想知道我的两个用例的更多优点和缺点 保持动物园pipe理员和经纪人使用容器在同一台机器是一个好习惯 提前致谢

生产者/消费者的Java代码无法在Docker设置中连接kafka

我为kafka（wurstmeister / kafka-docker）构build了一个docker镜像。 在Docker容器内部，我可以使用内置shell脚本创build主题，生成消息并使用消息。 现在我使用https://github.com/mapr-demos/kafka-sample-programs托pipe的代码从我的主机连接到kafka代理。 build立和运行程序后，什么也没有发生，程序stucks。 我想producer.send不能连接到kafka经纪人。 任何帮助表示赞赏