Tag: apache kafka

无法在openwhisk设置中列出kafka主题

安装细节：我在我的本地ubuntu（16.04）vm上设置了openwhisk。 在这个设置中，kafka运行在另一个docker中的一个docker和zookeeper中。 我使用cmd连接到kafka docker sudo docker exec -it <container id> sh 一旦连接，我执行以下命令来获取主题列表 bin/kafka-topics.sh –list –zookeeper localhost:2181 这给了我一个例外 Error: Exception thrown by the agent : java.rmi.server.ExportException: Port already in use: 7203; nested exception is: java.net.BindException: Address already in use 我无法理解为什么它试图使用7203端口？ dockerps输出 83eba3961247 ches/kafka:0.10.0.1 "/start.sh" 11 days ago Up 23 hours 7203/tcp, 0.0.0.0:9092->9092/tcp kafka 947fa689a7ef zookeeper:3.4 "/docker- […]

未能在MacOS上Docker化Kafka

我试图（和失败）在我的Mac机上运行dockerized kafka（MacOS Sierra（10.12.2））。 我有Docker for Mac版本17.03.1-ce，生成c6d412e。 这些是我正在使用的图像。 https://hub.docker.com/r/confluentinc/cp-zookeeper/ https://hub.docker.com/r/confluentinc/cp-kafka/ 我遵循官方快速入门指南中的build议，使用以下命令运行Zookeeper和Kafka。 docker run -d \ –net=host \ –name=zookeeper \ -e ZOOKEEPER_CLIENT_PORT=32181 \ confluentinc/cp-zookeeper:3.2.1 docker run -d \ –net=host \ –name=kafka \ -e KAFKA_ZOOKEEPER_CONNECT=localhost:32181 \ -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:29092 \ confluentinc/cp-kafka:3.2.1 主要这不适用于docker-compose。 再次，它是在我的Mac版本1.11.2，build立dfed245。 version: '2' services: zookeeper: image: confluentinc/cp-zookeeper:3.2.2 environment: – ZOOKEEPER_CLIENT_PORT=2181 ports: – 2181:2181 kafka: image: confluentinc/cp-kafka:3.2.2 environment: […]

Docker与Zookeeper，Kafka，Redis和Java Spring Boot组合

我很难用Docker Compose将这些容器连接在一起，让我先说一下，我现在也在Mac上运行。 该应用程序目前正在使用Docker Compose，因为如果我单独运行这些应用程序（而不是使用Docker），应用程序将按预期工作。 按照预期意味着，应用程序正在从Redis中读取数据，并且将某些Kafka主题中的数据提取出来并显示在前端。 谈到我认为是必要的文件。 docker-compose.yml version: '2' services: zookeeper: image: wurstmeister/zookeeper ports: – "2181:2181" kafka: image: wurstmeister/kafka:0.10.2.0 ports: – "9092:9092" environment: KAFKA_ADVERTISED_HOST_NAME: localhost KAFKA_CREATE_TOPICS: "flight-events:1:1,reported-flight-time-events:1:1,pax-flight-events:1:1" KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 volumes: – /var/run/docker.sock:/var/run/docker.sock depends_on: – zookeeper redis: image: redis ports: – "6379" restart: always kafka-websocket-connector: build: ./kafka-websocket-connector image: <user>/kafka-websocket-connector ports: – "8077:8077" depends_on: – kafka – […]

Kafka Docker network_mode

我试图让卡夫卡在我的Mac上运行，使用docker撰写。 这是我的docker-compose.yml文件： version: '2' services: zookeeper: image: ******** network_mode: "host" hostname: "zookeeper" environment: – "MYID=1" ports: – "2181:2181" – "3888:3888" mysql: image: ******* network_mode: "host" hostname: "mysql" environment: – "MYSQL_ROOT_PASSWORD=password" ports: – "3306:3306" schema-registry: image: ******** network_mode: "host" hostname: "schema-registry" environment: – "ZOOKEEPER_URL=127.0.0.1:2181" ports: – "8081:8081" kafka: image: ********** network_mode: "host" hostname: "kafka" environment: – […]

Kafka无法parsingZookeper的DNS名称

我有一个卡夫卡0.10.1.0集群（2个节点）和动物园pipe理员3.4.6（3个节点） 遵循本教程 ，集群托pipe在Kubernetes上。 Kafka的server.properties相关条目： listeners=PLAINTEXT://0.0.0.0:9092 advertised.listeners=PLAINTEXT://kafka.internal.<companyname>.com:9092 zookeeper.connect=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181 服务器启动后，每个Kafka代理快速失败，如下所示。 对我来说，它看起来像无法parsingDNS名称zookeeper-1 。 我也尝试从zookeeper.connect删除端口，虽然我读了相关的代码 ，我不相信会有所作为。 当然，我确认zookeeper-1可以从集群内解决。 群集中的其他容器可以parsing名称。 我还尝试了一系列别名，包括服务的DNS名称和Zookeeper的负载均衡器，这些都是我独立确认的工作。 在每种情况下，卡夫卡单独报告Name or service not known 。 [2016-11-22 19:55:45,506] INFO Initiating client connection, connectString=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181 sessionTimeout=6000 watcher=org.I0Itec.zkclient.ZkClient@7722c3c3 (org.apache.zookeeper.ZooKeeper) [2016-11-22 19:56:05,571] INFO Terminate ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread) [2016-11-22 19:56:05,572] FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) org.I0Itec.zkclient.exception.ZkException: Unable to connect […]

Docker云服务发现两个容器

在DockerCloud中，我试图让我的容器和另一个容器对话。 我相信问题是主机名不解决（这是在/conf.d/kafka.yaml下面显示）。 为了让DockerCloud拥有两个容器的通信，我尝试了很多变体，包括完整的主机名kafka-development-1和kafka-development-1.kafka等。 我一直得到的错误是在datadog代理信息 ： 在容器中运行./etc/init.d/datadog-agent info并接收： kafka —– – instance #kafka-kafka-development-9092 [ERROR]: 'Cannot connect to instance kafka-development:9092 java.io.IOException: Failed to retrieve RMIServer stub: javax.naming.CommunicationException [Root exception is java.rmi.ConnectIOException: error during JRMP connection establishment; nested exception is: \n\tjava.net.SocketException: Connection reset]' collected 0 metrics – Collected 0 metrics, 0 events & 0 service checks 我采取的步骤细节 SSH到Docker节点： […]

使JMX与spotify / kafka Docker镜像一起工作

我试图让JMX使用spotify/kafka Docker镜像。 我有一个docker-compose.yml ： version: '2' services: my-kafka: image: spotify/kafka # Using this instead of wurstmeister's because it didn't work with /var/run/docker.sock on Windows while this one has integrated ZK and works hostname: my-kafka restart: unless-stopped ports: – "9092:9092" # Kafka – "2181:2181" # Zookeeper – "7203:7203" # JMX environment: KAFKA_ADVERTISED_HOST_NAME: my-kafka KAFKA_ADVERTISED_PORT: 9092 KAFKA_OPTS: […]

docker和VirtualBox VM中的Apache Kafka

我试图在虚拟机中使用Apache Kafka，即一个可用于docker（wurstmeister / kafka-docker）的版本，并通过VM的主机系统连接到Docker中的kafka代理。 我将更详细地描述设置： 我的主机系统是运行在“普通”计算机上的Ubuntu 64位14.04.3 LTS（内核3.13）。 我有一个完整和复杂的各种docker集装箱相互作用的结构。 为了不打扰，或者更好的说，封装这个整个结构，不能直接在主机系统上运行docker镜像。 另一个原因是主机上需要不同的python库，这会干扰docker-compose（用于启动不同的docker镜像）所需的python-lib版本。 因此，所需的解决scheme应该是通过VirtualBox（来宾系统：Ubuntu 16.04.1 LTS）build立一个虚拟机，并完全运行该VM中的docker环境。 这具有明显的优点，即VM本身可以根据docker结构的要求精确configuration。 如上所述，其中一个docker镜像提供了kafka和zookeeperfunction，可用于通信和消息传递。 这意味着.yaml文件设置了一个运行这个映像的容器，将kafka和zookeeper的所有必要的端口转发到docker环境的主机系统（这是虚拟机VM的guest虚拟机系统）。 为了使Docker环境在主机系统中可见，我通过VirtualBox的networking设置（networking – >适配器NAT – >高级 – >端口转发）转发所有端口。 系统的行为如下： 当我运行docker-environment（包括kafka）时，我可以使用推荐的标准kafka shell脚本（producer＆consumer api）来连接，使用和生成VM-kafka。 当我在VM guest系统上运行一个Kafka和zookeeper服务器时，我可以从VM（主机）之外进行连接，在生产者和消费者api上生成和使用。 当我在Docker环境中运行Kafka时，我可以从VM之外的主机系统连接，这意味着我可以看到所有主题，获取有关主题的信息，同时还可以在Docker中看到来自kafka和zookeeper的一些debugging输出。 不幸的是，不可能产生或使用来自主机系统的任何信息到/从docker卡夫卡。 从生产者API我得到一个“批次过期”exception，消费者返回一个“ClosedChannelException”。 我做了大量的search，发现了很多提示如何解决类似的问题。 其中大部分引用kafka-server.properties中的advertised.host.name参数，可通过.yaml中的KAFKA_ADVERTISED_HOST_NAME进行访问。 例如，如果发生上述错误，则引用该参数。 不幸的是，这些场景都不具备docker和VMfunction。 进一步试图修改这个参数根本没有任何影响。 尽pipe我对docker 和 kafka不是很熟悉，但是在这里我可以看到一个问题，因为kafka消费者和生产者会获得docker环境的本地IP（在NAT中是10.0.2.15）作为代理。 但不幸的是，这个IP不是从虚拟机外部可见的。 因此，解决scheme可能是一个改变的设置，在VirtualBoxnetworking中应该使用桥接模式。 奇怪的是，桥接连接（当然）通过DHCP导致VM自己的IP，这导致VM 和主机系统都无法访问docker-kafka。 这最后一个行为似乎对我来说很尴尬。 总结我的问题是，如果有人有这种或类似的情况的一些经验，并可以告诉我，如何configurationdocker卡夫卡，VirtualBox虚拟机和主机系统。 我真的尝试了很多不同的设置，消费者和生产者调用没有成功。 当然，一些docker工人，卡夫卡人或者docker工人和卡夫卡专家也都欢迎回答。 如果您需要更多信息，或者您可以提供一些提示，请让我知道。 提前致谢

spring-cloud-starter-stream-kafka不会创build提供给spring.boot.cloud.stream.bindings.output.destination的主题

我在spring引导应用程序中使用了spring-cloud-starter-stream-kafka和spring-cloud-stream jar for kafka。 jar的版本是1.1.1.RELEASE，我们正在创build一个名为Test的生产者。 以下同样是application.yml文件。 spring.boot.cloud.stream.bindings.output: destination: Test content-type: application/octet-stream producer: headerMode: raw requiredGroups: testConsumerGroup 有时候我们在Docker中运行应用程序（使用docker-compose）而不是创buildTest主题时，问题有时就是创build“output”作为主题。 对于kafka，我正在使用wurstmeister / kafka（Tag 0.9.0.1-1）图像和wurstmeister / zookeeper。 尝试更新属性，但它不工作。 更新：debugging后得知bindingServiceProperties不包含绑定，因此spring的云stream创build主题为“输出”

无法连接Kafka到Zookeeper

从docker-compose我得到了这个yml： version: '2' services: zookeeper: container_name: zookeeper image: confluentinc/cp-zookeeper:3.1.1 ports: – "2080:2080" environment: – ZOOKEEPER_CLIENT_PORT=2080 – ZOOKEEPER_TICK_TIME=2000 kafka: container_name: kafka image: confluentinc/cp-kafka:3.1.1 ports: – "9092:9092" environment: – KAFKA_CREATE_TOPICS=Topic1:1 – KAFKA_ZOOKEEPER_CONNECT=192.168.99.100:2080 – KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.99.100:9092 depends_on: – zookeeper schema-registry: container_name: schema-registry image: confluentinc/cp-schema-registry:3.1.1 ports: – "8081:8081" environment: – SCHEMA_REGISTRY_KAFKASTORE_CONNECTION_URL=192.168.99.100:2080 – SCHEMA_REGISTRY_HOST_NAME=localhost depends_on: – zookeeper – kafka 当我站起来这个docker时，控制台输出结束于： schema-registry […]