Tag: filebeat

使用Filebeat（或其他选项）将docker GELF转发到Logstash

Gelf消息是所有Jsonstring的子集。 我如何使用filebeat（或其他select）作为轻量级的解决scheme来将docker gelf日志可靠地转发到logstash？ 更多信息： 我有一个群集（现在的docker群）在相同的networking运行docker集装箱的机器。 我想使用–log-driver = gelf，因为我喜欢gelf格式，并希望docker添加到每个GELF日志条目中的字段。 不幸的是docker工人用UDP发送GELF日志，我害怕丢失日志条目。 要么是因为包丢失，logstashclosures，或者logstash的负载过重。 我不想在每个主机上运行logstash，因为它是一个重量级的。

如何解决Filebeat权限在初始化收集日志时被拒绝的错误

我有ELK泊坞窗容器打开端口和Filebeat在单独的容器上。 我在Kibana仪表板中获得了Logstash索引和Filebeat索引。 一些日志正在使用Filebeat中的Logstach发送到Elastic Search。 日志文件夹为我的应用程序，我试图获取在Filebeat容器外运行的日志，它被映射到Filebeat容器内。 所有的容器都在同一个networking上。 但是，当Filebeat来读取我的应用程序日志，我正在获得拒绝错误。 我试图读取单独的Apache日志，但获得相同的错误阅读日志。 我正在使用Oracle Virtual Box在Vagrant主机上执行所有这些操作。 任何人都可以告诉我如何给予权限或添加用户到我的应用程序或任何其他方式来做到这一点？ 我正在使用Ubuntu 16.04与Docker和docker-compose并使用ELK 5.6.3。 以下是日志： filebeat_1 | 2017/10/18 09:12:42.390679 prospector_log.go:271: ERR Harvester could not be started on existing file: /na sir/default/logs/kern.log, Err: Error setting up harvester: Harvester setup failed. Unexpected file opening error: Faile d opening /nasir/default/logs/kern.log: open /nasir/default/logs/kern.log: permission denied filebeat_1 | 2017/10/18 […]

在具有http代理的企业networking上运行docker filebeat

我试图通过docker为我的办公室运行一个麋鹿堆栈和filebeat [即。 在http代理到位的企业networking内部]工作。 即使我可以访问[使用从我的主机系统curl] kibana，elasticsearch端点，我的filebeat [在同一networking中作为docker容器运行]实例无法。 任何帮助正确的方向将是有益的。 我的docker-compose.yml如下： version: '2' services: elasticsearch.local: build: elasticsearch/ volumes: – ./elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml ports: – "9200:9200" – "9300:9300" environment: ES_JAVA_OPTS: "-Xmx512m -Xms256m" networks: – elk logstash.local: build: logstash/ volumes: – ./logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml – ./logstash/pipeline:/usr/share/logstash/pipeline ports: – "5000:5000" environment: ES_JAVA_OPTS: "-Xmx512m -Xms256m" networks: – elk depends_on: – elasticsearch.local kibana.local: build: kibana/ volumes: – […]

DockerFile与Filebeat的SpringBoot应用程序

我有一个简单的Docker的Spring Boot App，有了这个简单的DockerFile FROM openjdk MAINTAINER matteoroxis ADD target/example-service.jar example-service.jar ENTRYPOINT ["java", "-jar", "/example-service.jar"] EXPOSE 2222 我有必要使用Filebeat将日志发送到logstash环境; 如何使用我的DockerFile启动Filebeat？

如何启动docker容器内的filebeat？

我尝试启动dockercontainer内的filebeat。 在开始时，我尝试从这个Dockerfile开始 FROM tomcat:8.5 RUN rm -Rf /usr/local/tomcat/webapps/ROOT/* RUN mkdir /usr/local/tomcat/webapps-my COPY filebeat/ /opt/filebeat/ RUN chmod +x /opt/filebeat/filebeat COPY db-creator.jar /opt/db-creator/ COPY ./docker-entrypoint.sh / RUN chmod +x /docker-entrypoint.sh ENTRYPOINT ["/docker-entrypoint.sh"] ENTRYPOINT ["/opt/filebeat/filebeat", "-e", "-c", "/opt/filebeat/filebeat.yml"] COPY server.xml /usr/local/tomcat/conf COPY my.war /usr/local/tomcat/webapps-my/ROOT.war CMD ["catalina.sh", "run"] 在这种情况下filebeat正在启动，但它在控制台和tomcat不起动。 现在我尝试启动filebeat作为服务 FROM tomcat:8.5 RUN curl -L -O https://artifacts.elastic.co/downloads/beats/fileb… RUN dpkg […]

在docker主机操作系统上运行filebeat，并从容器中收集日志

我有一个服务器是多个docker集装箱的主机操作系统。 每个容器都包含一个正在创build日志的应用程序。 我希望通过使用syslog守护进程将这些日志发送到一个地方，然后我希望filebeat将这些数据传输到另一个服务器。 是否有可能在主机操作系统上安装filebeat（而不是为filebeat创build另一个容器），并使容器应用程序的日志数据被syslog守护进程收集，然后整合到主机操作系统的/ var / log中？ 谢谢。

Filebeat不转发日志

我遵循这里提到的所有步骤readthedocs但我的filebeat不发送日志到URL http：// localhost：9200 / _search？漂亮 。 我的filebeat.yml文件是 – https://ghostbin.com/paste/rrjeh 我没有configuration任何提到的logstash文件。 我的registry文件正在填写filebeat开始后，filebeat日志（syslog）显示没有关于filebeat的错误

Elastic Filebeat是否有正式的Docker镜像？

Elastic Filebeat是否有正式的Docker镜像？ 我看到有一些社区贡献的，不知道是否有官方的。

Docker容器中Javaexception的Filebeat多行parsing不起作用

我正在运行Filebeat来从运行在容器中的Java服务中发送日志。 此容器有许多其他服务正在运行，并且相同的Filebeat守护程序正在收集主机中运行的所有容器的日志。 Filebeat将日志转发到Logstash，并将它们转储到Elastisearch中。 我正在尝试使用Filebeat多行function将来自Javaexception的日志行组合到一个使用以下Filebeatconfiguration的日志条目中： filebeat: prospectors: # container logs – paths: – "/log/containers/*/*.log" document_type: containerlog multiline: pattern: "^\t|^[[:space:]]+(at|…)|^Caused by:" match: after output: logstash: hosts: ["{{getv "/logstash/host"}}:{{getv "/logstash/port"}}"] 应该聚合成一个事件的Java堆栈跟踪的示例： 这个Java stacktrace是一个来自docker日志条目的副本（在运行docker日志java_service之后 ） [2016-05-25 12:39:04,744][DEBUG][action.bulk ] [Set] [***][3] failed to execute bulk item (index) index {[***][***][***], source[{***}} MapperParsingException[Field name [events.created] cannot contain '.'] at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseProperties(ObjectMapper.java:273) at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseObjectOrDocumentTypeProperties(ObjectMapper.java:218) […]

Filebeats不会向Docker撰写日志，为什么呢？

我正在按照这个教程设置一个ELK栈（VPS B），它将使用Beatfile作为转发器来接收一些Docker / docker组合图像日志（VPS A），我的图如下所示 到目前为止，我已经设法使所有的接口与绿色蜱工作。 但是，仍然有一些我不能理解的问题。 因此，如果有人能帮我一下，我将不胜感激。 我的主要问题是，我没有从VPSA获取任何Docker / docker-compose日志到VPSB的Filebeat服务器; 不过，我在VPSB的Filebeat服务器上获得了来自VPSA的其他日志，如rsyslog，authentication日志等。 我已经configuration了我的docker-compose文件来使用rsyslog转发日志作为日志驱动程序，然后filebeat将这个syslog转发给VPSB。 到达这一点，我确实看到docker守护进程本身的日志，比如虚拟接口上/下，启动进程等等，而不是监视器本身的“debugging”日志。 VPSA中Filebeat客户端的configuration如下所示 root@VPSA:/etc/filebeat# cat filebeat.yml filebeat: prospectors: – paths: – /var/log/auth.log – /var/log/syslog # – /var/log/*.log input_type: log document_type: syslog registry_file: /var/lib/filebeat/registry output: logstash: hosts: ["ipVPSB:5044"] bulk_max_size: 2048 tls: certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"] shipper: logging: files: rotateeverybytes: 10485760 # = 10MB level: debug 一个docker-compose日志驱动程序看起来像这样 […]