Tag: spring云stream

使用Kafka代理的Dockerized Spring Cloud Stream服务无法连接到Zookeeper

我正在使用一个源和一个接收器服务testing一个示例Spring云stream应用程序（运行在Ubuntu Linux机器上）。 我的所有服务都是docker集装箱，我想用卡夫卡作为邮件经纪人。 在docker-compose.yml的相关部分下面： zookeeper: image: confluent/zookeeper container_name: zookeeper ports: – "2181:2181" kafka: image: wurstmeister/kafka:0.9.0.0-1 container_name: kafka ports: – "9092:9092" links: – zookeeper:zk environment: – KAFKA_ADVERTISED_HOST_NAME=192.168.33.101 – KAFKA_ADVERTISED_PORT=9092 – KAFKA_DELETE_TOPIC_ENABLE=true – KAFKA_LOG_RETENTION_HOURS=1 – KAFKA_MESSAGE_MAX_BYTES=10000000 – KAFKA_REPLICA_FETCH_MAX_BYTES=10000000 – KAFKA_GROUP_MAX_SESSION_TIMEOUT_MS=60000 – KAFKA_NUM_PARTITIONS=2 – KAFKA_DELETE_RETENTION_MS=1000 . . . # not shown: eureka service registry, spring cloud config service, […]

pipe理Spring云数据stream服务器日志

我正在使用docker部署Spring云数据stream服务器。 我已经在数据stream服务器内部创build了一个数据处理pipe道，通过部署几个spring启动应用程序作为源，处理器和接收器。 为了访问每个服务的日志，我必须从docker continer（bash）里面取尾，否则我必须将它从docker容器复制到本地磁盘。 我想使用log4j-kafka appender将这些日志推送到kafka以供日后分析。 我已经为Spring云数据stream之外的其他服务执行此操作。 有没有办法使用log4j来pipe理在spring云数据stream中运行的服务日志？

准备好运行Spring云数据stream的Docker镜像

我正在寻找准备好运行并准备好为Spring Cloud Data Flow部署映像，最好使用HDFS保险丝文件系统驱动程序。 最好使用示例和文档。 我已经在寻找一些教程 – 但是有太多的步骤和configuration选项要考虑，我宁愿从现有的图像/例子开始，这可能部分符合我的需求，并从那里开始我的第一步。 我有什么select？

在Docker上如何部署Spring云数据stream

我使用https://github.com/spring-cloud/spring-cloud-dataflow/tree/master/spring-cloud-dataflow-app-launcher ， 操作系统：Ubuntu 15.10 然后 $ mvn package docker:build $ docker-compose up 但遇到错误： timesource_1 | java.lang.IllegalStateException: No 'Start-Class' manifest entry specified in jar:file:/root/.m2/repository/org/springframework/cloud/stream/module/time-source/1.0.0.BUILD-SNAPSHOT/time-source-1.0.0.BUILD-SNAPSHOT.jar!/ timesource_1 | at org.springframework.boot.loader.archive.Archive.getMainClass(Archive.java:57) timesource_1 | at org.springframework.boot.loader.ExecutableArchiveLauncher.getMainClass(ExecutableArchiveLauncher.java:69) timesource_1 | at org.springframework.boot.loader.Launcher.launch(Launcher.java:61) timesource_1 | at org.springframework.cloud.dataflow.app.launcher.ModuleJarLauncher.launch(ModuleJarLauncher.java:47) timesource_1 | at org.springframework.cloud.dataflow.app.launcher.ModuleLauncher.launchModule(ModuleLauncher.java:238) timesource_1 | at org.springframework.cloud.dataflow.app.launcher.ModuleLauncher.launchIndividualModules(ModuleLauncher.java:228) timesource_1 | at org.springframework.cloud.dataflow.app.launcher.ModuleLauncher.launch(ModuleLauncher.java:100) timesource_1 | at org.springframework.cloud.dataflow.app.launcher.ModuleLauncherRunner.run(ModuleLauncherRunner.java:67) […]

Kafka生产者抛出“TimeoutException：批次过期”exception

我正在testing用于twitter的Spring Cloud Stream App，用以下与Kafka相关的环境属性启动Docker容器， KAFKA_ADVERTISED_HOST_NAME=192.168.127.188 advertised.host.name=192.168.127.188:9092 spring.cloud.stream.bindings.output.destination=twitter-source-test spring.cloud.stream.kafka.binder.brokers=192.168.127.188:9092 spring.cloud.stream.kafka.binder.zkNodes=192.168.127.188:2181 我的kafka producerConfig值如下， 2017-01-12 14:47:09.979 INFO 1 — [itterSource-1-1] oakclients.producer.ProducerConfig : ProducerConfig values: compression.type = none metric.reporters = [] metadata.max.age.ms = 300000 metadata.fetch.timeout.ms = 60000 reconnect.backoff.ms = 50 sasl.kerberos.ticket.renew.window.factor = 0.8 bootstrap.servers = [192.168.127.188:9092] retry.backoff.ms = 100 sasl.kerberos.kinit.cmd = /usr/bin/kinit buffer.memory = 33554432 timeout.ms = 30000 key.serializer […]