Tag: kafka python

使用属性文件的kafka主题configuration: 我想configuration一些主题和独特的保留设置Kafka。所以当我启动Kafka时，它将使用这些设置加载server.properties文件。我发现的唯一方法是启动Kafka，然后使用kafka-topics.sh脚本启动和configuration主题。例： bin/kafka-topics.sh –zookeeper zk.yoursite.com –alter –topic as-access –config retention.ms=86400000 我在Docker上使用Kafka，所以我不需要将入口点设置为启动Kafka的实际脚本，而是需要创build自己的脚本来启动Kafka并运行一些shell命令来configuration这些主题。另外，如果我需要自己创build这些主题，则需要开始创build一些关于已经存在的主题的逻辑。我不想走那条路

无法通过端口9092连接到Kafka: 我在kafka中创build了replica = 2的主题，而kafka正在我的docker机器中运行。通常情况下，我应该能够连接到docker与端口9092.但我不能虽然，我可以连接使用32783.不知道是什么原因？

创build主题，但在Kubernetes上使用Python获取Kafka FailedPayloadsError: 我在Python kafka库中使用SimpleProducer。这个脚本已经完美的工作，以前我尝试过的其他更硬configuration的卡夫卡设置。 kafka = KafkaClient(u'[masterNodeIp]:[servicePort]') producer = SimpleProducer(kafka) #make a simple message, while true run producer.send_messages(b'oneMoreTopic', sentence) 在运行这个脚本之后，我在python控制台中得到了这个响应。 kafka.common.LeaderNotAvailableError: TopicMetadata(topic='oneMoreTopic', error=5, partitions=[]) 然后我可以在我的zookeeper.log中进入我的Node并查看： 2015-09-14 12:16:32,276 – INFO [ProcessThread(sid:3 cport:-1)::PrepRequestProcessor@627] – Got user-level KeeperException when processing sessionid:0x34fcb982d030000 type:setData cxid:0x71 zxid:0x1000000d8 txntype:-1 reqpath:n/a Error Path:/config/topics/oneMoreTopic Error:KeeperErrorCode = NoNode for /config/topics/oneMoreTopic 2015-09-14 12:16:32,278 – INFO [ProcessThread(sid:3 cport:-1)::PrepRequestProcessor@627] […]

卡夫卡在docker工人不工作: 我试图用wurstmeister\kafka-docker docker-compose来使用wurstmeister\kafka-docker图片，但是我在连接所有东西时遇到了实际的问题。我查的所有post或者问题似乎没有任何问题，但是我坦白的说是输了。（至less有两个问题试图解决这个问题）我相信问题是我对docker的networking了解docker 。所以问题是：我可以从同一个kafka容器中进行消费和生产，但是当我尝试创build另一个容器时（或者使用我的笔记本电脑和python客户端），我得到了一些与advertised.host.name参数有关的错误（在图像中，这个参数是KAFKA_ADVERTISED_HOST_NAME ）我已经尝试以很多方式设置这个variables，但它不起作用。所以我正在寻找一个authorative答案（即如何自动设置这些参数，这是什么意思）如何设置docker-compose.yml 这是我的： zookeeper: image: wurstmeister/zookeeper ports: – "2181:2181" kafka: image: wurstmeister/kafka # hostname: kafka ports: – "9092" links: – zookeeper:zk environment: KAFKA_ADVERTISED_HOST_NAME: "kafka" KAFKA_ADVERTISED_PORT: "9092" KAFKA_ZOOKEEPER_CONNECT: "zk:2181" UPDATE 遵循@dnephin的build议，我修改了以下几行中的start-kafka.sh ： … if [[ -z "$KAFKA_ADVERTISED_PORT" ]]; then export KAFKA_ADVERTISED_PORT=$(hostname -i) fi … 并从KAFKA_ADVERTISED_HOST_NAME: "kafka" docker-compose.yml移除KAFKA_ADVERTISED_HOST_NAME: […]