生成消息到主机Kafka服务器时,集成化的Kafka客户端错误
在stackoverflow上有许多类似的查询,但没有一个与我所看到的问题完全一致。
我的服务器上有一个zookeeper / kafka安装程序,可以很好地工作。 一个可以生产
bin/kafka-console-producer.sh --broker-list 192.168.2.80:9092 --topic test
并消费
bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.80:9092 --topic test --from-beginning
本地在Linux Ubuntu 16.04服务器上。
从Docker容器 – 也运行Ubuntu 16.04 – 我想生产和消费。 容器的Kafka代码是从服务器上复制的。 首先,我可以创build一个新的话题
bin/kafka-topics.sh --create --zookeeper 192.168.2.80:2181 --replication-factor 1 --partitions 1 --topic test2
从容器中,然后再列出
bin/kafka-topics.sh --list --zookeeper 192.168.2.80:2181
但是,当我尝试生成新消息时,使用上面的(kafka-console-producer.sh)命令失败,并显示以下消息:
[2017-06-05 13:59:05,317] ERROR Error when sending message to topic test2 with key: null, value: 2 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test2-0: 1526 ms has passed since batch creation plus linger time
input短信文本后按回车。
在同一台主机上运行一个Docker容器可能看起来很奇怪,但是一旦这个工作正常,我将把容器移动到一个单独的主机上进行生产。
我的kafka server.properties文件:
listeners=PLAINTEXT://0.0.0.0:9092
卡夫卡版本:
2.12-0.10.2.1
Docker版本:
Docker version 1.12.6, build 78d1802
您的生产者(位于容器中)无法parsing您的Linux客户操作系统的主机名,该客户操作系统在Kafka生产者向引导程序服务器的初始元数据请求中返回。 您可以手动将其添加到容器内的/ etc / hosts文件中,或将“–add-host”参数添加到启动运行制作者的映像的docker run命令
啊哈! 经过进一步阅读和解决scheme上面给出的答案来了。 往往如此,这是一个容易的。 一个简单的编辑kafka server.properties文件:
advertised.listeners=PLAINTEXT://192.168.2.80:9092
另外请注意,参数“侦听器”没有在这个文件中设置。
卡夫卡协议的工作原理造成了这个问题(稍微简化)。 给定一个“引导服务器”列表(例如localhost:9092
),Kafka客户端将联系那些引导服务器,但是然后使用由引导服务器返回的实际Kafka代理的主机名(代理的advertised.listeners
configuration,具体取决于您的Kafka / Docker设置,可能设置为例如kafka:9092
)。 因此,在这里,客户端会与localhost:9092
进行引导(这将工作),但随后切换到kafka:9092
(这将不起作用,“感谢”networking设置)。
幸运的是,有一种方法可以用“正常工作”的方式来configurationKafka + Docker,而且不需要使用诸如摆脱主机的/etc/hosts
文件之类的诡计。 作为其中的一部分,您需要设置一些(新)Kafka设置,这些设置是在kafka的KIP-103:内部和外部stream量分离中添加的。
以下是Docker Compose( docker-compose.yml
)的一个片段,演示了如何执行此操作:
--- version: '2' services: zookeeper: image: confluentinc/cp-zookeeper:3.2.1 hostname: zookeeper ports: - '32181:32181' environment: ZOOKEEPER_CLIENT_PORT: 32181 kafka: image: confluentinc/cp-kafka:3.2.1 hostname: kafka ports: - '9092:9092' - '29092:29092' depends_on: - zookeeper environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:32181 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092 # Following line is needed for Kafka versions 0.11+ # in case you run less than 3 Kafka brokers in your # cluster because the broker config # `offsets.topic.replication.factor` (default: 3) # is now enforced upon topic creation KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
这里的关键设置是:
-
listener.security.protocol.map
(通过KAFKA_LISTENER_SECURITY_PROTOCOL_MAP
设置) -
inter.broker.listener.name
-
advertised.listeners
在上面的设置中,集装箱化的Kafka代理监听localhost:9092
以访问您的主机(例如您的Mac笔记本电脑)和kafka:29092
以访问其他容器。
完整的端到端示例可在以下url获得: https : //github.com/confluentinc/cp-docker-images/blob/v3.2.1/examples/kafka-streams-examples/docker-compose.yml http://docs.confluent.io/3.2.1/cp-docker-images/docs/tutorials/kafka-streams-examples.html )。
- Git pre-commit hook + docker =不同的git状态
- 复制docker容器进行debugging
- 从Docker容器连接到另一个Docker容器的端口
- 多数PostgreSQL数据库在数据只容器
- 什么是使用Rancher(或Kubernetes)将微服务(docker)从OVH迁移到AWS的最佳方式?
- 使用maven-failsafe与fabric8-maven运行集成testing,打到集装箱数据库
- 如何将docker上的spring应用程序连接到docker上的activemq集群
- docker-compose在docker-compose.yml中看不到卷更改
- 我可以从现有的数据库容器build立一个泊坞窗图像吗?