Tag: elk stack

Logstash泊坞窗镜像中的系统日志驱动程序造成端口“超时”错误

我无法通过docker-compose 1.5.2可靠地启动ELK堆栈。 我得到这个错误： 无法启动容器8b1603：无法初始化日志logging驱动程序：拨号tcp 127.0.0.1:9290：连接超时 我通过用作docker-compose的input的yml文件尝试了logstash docker镜像版本2.3,2.4,5.0和“latest”。 但是当我做“docker-compose up”来启动ELK堆栈时，我总是会遇到下面提到的错误。 我使用“syslog”作为驱动程序将日志提取到Logstash中。 我通过下面的语法来为我的“依赖”其他docker容器： log_driver: syslog syslog-address: "tcp://<docker's host's IP address>:9290 在yml文件中。 还有其他依赖于此端口的“依赖”服务，即使Logstash“已准备就绪”，这些服务也无法访问端口9290。 错误是： 无法启动容器：无法初始化日志logging驱动程序：拨号TCP 127.0.0.1:9290：连接超时 请注意，我已经推迟了几分钟 ，开始使用端口9290的“依赖”容器。但是我仍然有时会得到上面的错误。 Logstash镜像启动时间或系统日志驱动启动时间有什么问题？

使用Filebeat（或其他选项）将docker GELF转发到Logstash

Gelf消息是所有Jsonstring的子集。 我如何使用filebeat（或其他select）作为轻量级的解决scheme来将docker gelf日志可靠地转发到logstash？ 更多信息： 我有一个群集（现在的docker群）在相同的networking运行docker集装箱的机器。 我想使用–log-driver = gelf，因为我喜欢gelf格式，并希望docker添加到每个GELF日志条目中的字段。 不幸的是docker工人用UDP发送GELF日志，我害怕丢失日志条目。 要么是因为包丢失，logstashclosures，或者logstash的负载过重。 我不想在每个主机上运行logstash，因为它是一个重量级的。

无法在docker中运行metricbeat

我想在Windows机器上使用docker运行metricbeat，并根据我的要求更改了metricbeat.yml。 docker run -v /c/Users/someuser/docker/metricbeat.yml:/usr/share/metricbeat/metricbeat.yml docker.elastic.co/beats/metricbeat:5.6.0 但得到这些错误 metricbeat2017 / 09/17 10：13：19.285547 beat.go：346：CRIT退出：错误加载configuration文件：configuration文件（“metricbeat.yml”）只能由拥有者写入，但权限为“-rwxrwxrwx”修复权限使用：'chmod go -w /usr/share/metricbeat/metricbeat.yml'）退出：错误加载configuration文件：configuration文件（“metricbeat.yml”）只能由拥有者写入，但权限是“ -rwxrwxrwx“（修复使用权限：'chmod go-w / usr / share / metricbeat / metricbeat.yml'） 为什么我得到这个？ 什么是正确的方法来永久性的改变docker容器中的文件内容（因为我不想每次容器启动时都改变configuration文件） 编辑：容器不意味着被编辑/改变。如有必要，docker卷pipe理可用于外部化所有configuration相关的作品。谢谢

login到Logstash：将不同应用程序的日志分隔在一个容器中

我有轨道应用程序在客运networking服务器运行docker集装箱。 我正在尝试将应用程序日志redirect到Logstash。 我将rails日志redirect到STDOUT并将容器configuration为使用gelf日志驱动程序，将stdoutredirect到给定的Logstash服务器。 但问题出现了：乘客networking服务器也写他自己的日志到STDOUT。 而且我得到了两个日志的混合，这使得很难分离和分析。 这种情况下的最佳做法是什么？ 我怎样才能标记每个日志stream来分隔logstash？

如何解决Filebeat权限在初始化收集日志时被拒绝的错误

我有ELK泊坞窗容器打开端口和Filebeat在单独的容器上。 我在Kibana仪表板中获得了Logstash索引和Filebeat索引。 一些日志正在使用Filebeat中的Logstach发送到Elastic Search。 日志文件夹为我的应用程序，我试图获取在Filebeat容器外运行的日志，它被映射到Filebeat容器内。 所有的容器都在同一个networking上。 但是，当Filebeat来读取我的应用程序日志，我正在获得拒绝错误。 我试图读取单独的Apache日志，但获得相同的错误阅读日志。 我正在使用Oracle Virtual Box在Vagrant主机上执行所有这些操作。 任何人都可以告诉我如何给予权限或添加用户到我的应用程序或任何其他方式来做到这一点？ 我正在使用Ubuntu 16.04与Docker和docker-compose并使用ELK 5.6.3。 以下是日志： filebeat_1 | 2017/10/18 09:12:42.390679 prospector_log.go:271: ERR Harvester could not be started on existing file: /na sir/default/logs/kern.log, Err: Error setting up harvester: Harvester setup failed. Unexpected file opening error: Faile d opening /nasir/default/logs/kern.log: open /nasir/default/logs/kern.log: permission denied filebeat_1 | 2017/10/18 […]

发布到docker中的logstash udp

我一直在这个苦苦挣扎了一段时间，我还没有能够使它的工作，我使用docker麋鹿图像启动麋鹿在容器中，我传递configuration值麋鹿，我看到它在里面工作容器，但消息没有得到他们。 这是我正在使用的configuration： version: '3' services: elk: image: sebp/elk ports: – '9200:9200' – '9300:9300' – '5601:5601' – '4560:4560' – '4560:4560/udp' – '9600:9600' volumes: – './logstashconfig/logstash.conf:/etc/logstash/conf.d/logstash.conf' 这是configuration文件： input { udp { port => 4560 codec => plain { charset => "UTF-8" } type => "log4net" } } 我可以看到它的工作日志： UDP listener started {:address=>"0.0.0.0:4560", :receive_buffer_bytes=>"106496", :queue_size=>"2000"} 但是当我发布日志到那个端口，他们没有到达，我testing了我的C＃控制台程序与udp监听器和日志正在发布，任何方式这是我用于log4net的configuration： <appender name="UdpAppender" […]

安装docker撰写logstash插件

我试图parsingCSV文件中的date字段，并使用logstash将其转换为所需的date格式，但是当我尝试使用docker运行logtstash时，我不断收到错误 Problems loading a plugin with {:type=>"filter", :name=>"date_formatter", 我的logstashfilterconfiguration如下 date { match => ["start_date", "MM/dd/yy"] target => "start_date" } date_formatter { source => "start_date" pattern => "YYYY-MM-dd" } 我试图创buildDockerfile与docker撰写和添加插件那里它仍然无法正常工作 Dockerfile FROM docker.elastic.co/logstash/logstash-oss:5.6.3 RUN logstash-plugin install logstash-filter-date_formatter Docker撰写 version: '2' services: # Service : logstash logstash-5-6: image: docker.elastic.co/logstash/logstash:5.6.3 container_name: logstash-5-6

DockerFile与Filebeat的SpringBoot应用程序

我有一个简单的Docker的Spring Boot App，有了这个简单的DockerFile FROM openjdk MAINTAINER matteoroxis ADD target/example-service.jar example-service.jar ENTRYPOINT ["java", "-jar", "/example-service.jar"] EXPOSE 2222 我有必要使用Filebeat将日志发送到logstash环境; 如何使用我的DockerFile启动Filebeat？

如何configurationLogstash来parsingAWS ELB日志？

我想从Logstash中parsing设置在dockerised ELK堆栈中的AWS ELB日志[存储在S3存储桶中]。 我克隆了这个回购。 这是它的文档。 我添加了这样的logstashconfiguration文件[并注释掉所有其他]： # AWS ELB configuration file ADD ./aws_elb_logs.conf /etc/logstash/conf.d/aws_elb_logs.conf configuration文件如下： input { s3 { # Logging_user AWS creds access_key_id => "fjnsdfjnsdjfnjsdn" secret_access_key => "asdfsdfsdfsdfsdfsdfsdfsd" bucket => "elb-access-logs" region => "us-west-2" # keep track of the last processed file sincedb_path => "./last-s3-file" codec => "json" type => "elb" } } filter […]

在Docker中使用ELK Stack与docker-compose与x.pack auth无法validation用户身份

我想用docker来使用elk栈。 为此，我创build了一个docker-compose文件。 一切正常，只要我有X-Pack停用。 但是现在我想要在kibana UI中login，因此我想使用x-pack 我在elasticsearch和logstash的环境中定义了UserName和Passsword。 但我总是得到这个exception elasticsearch_1 | [2017-11-27T09：25：58,190] [INFO] [oexsaAuthenticationService] [clEpqom] [elastic]的身份validation已被realm [reserved]终止 – 未能validation用户[elastic] 我做错了什么暗示？ 在这里，我的docker撰写文件： version: '2' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch-platinum:6.0.0 ports: – "9200:9200" – "9300:9300" environment: ELASTIC_USERNAME: "elastic" ELASTIC_PASSWORD: "MyPw123" http.cors.enabled: "true" http.cors.allow-origin: "*" networks: – elk logstash: image: docker.elastic.co/logstash/logstash:6.0.0 environment: xpack.monitoring.elasticsearch.url: "172.17.0.1:9200" xpack.monitoring.elasticsearch.username: "elastic" xpack.monitoring.elasticsearch.password: "MyPw123" networks: – elk […]