Tag: logstash

如何从运行在primefaces主机上的docker容器获取tomcat日志

我正在处理日志监控，我有要求在Docker容器（容器运行在primefaces主机）中运行的Tomcat应用程序服务器日志（例如：catalina.log），并使用rsyslog将其传递到Logstash服务器。 我能够得到docker容器相关的日志，但无法从运行tomcat的docker容器中获取Tomcat服务器和应用程序日志。 任何build议对此表示赞赏。 谢谢，Praveen

在docker中运行logstash与-f标志的问题

我试图用下面的命令在红帽子7中运行logstash容器： docker run -v /home/logstash/config:/conf -v /home/docker/logs:/logs logstash logstash -f /conf/logstash.conf –verbose 收到的回应是： {:timestamp=>"2016-05-05T10:21:20.765000+0000", :message=>"translation missing: en.logstash.runner.configuration.file-not-found", :level=>:error} {:timestamp=>"2016-05-05T10:21:20.770000+0000", :message=>"starting agent", :level=>:info} 并且logstash容器未运行。 如果我执行下面的命令： docker run -dit -v /home/logstash/config:/conf -v /home/docker/logs:/logs –name=logstash2 logstash logstash -e 'input { stdin { } } output { stdout { } }' 使用以下命令在容器中input： docker exec -ti bash 并执行： logstash -f […]

通过kafka进行无限日志logging

概观 我正在尝试使用Docker容器来使Logstash与Kafka 一起工作。 对于我的卡夫卡容器，我正在使用Spotify构build 。 我也使用官方的Logstash容器 。 我想要达到如下所示： 这里是我用于Logstash的configuration： file_kafka.conf input { file { path => ["/data/*.log"] start_position => "beginning" } } output { kafka { topic_id => "test" bootstrap_servers => "<host>:9092" } } kafka_stdout.conf input { kafka { topics => ["test"] bootstrap_servers => "<host>:9092" auto_offset_reset => "latest" } } output { stdout {} } […]

docker工人组成Logstash – 指定configuration文件并安装插件？

我试图复制我的Logstashconfiguration并同时安装一个插件。 我迄今为止尝试了多种方法没有用，Logstash每次都存在错误 这失败了： logstash: image: logstash:latest command: logstash -f /etc/logstash/conf.d/logstash.conf command: bash -c bin/logstash-plugin install logstash-filter-translate 这失败了： command: logstash -f /etc/logstash/conf.d/logstash.conf bash -c bin/logstash-plugin install logstash-filter-translate 这失败了： command: logstash -f /etc/logstash/conf.d/logstash.conf && bash -c bin/logstash-plugin install logstash-filter-translate 这也失败了 command: bash -c logstash -f /etc/logstash/conf.d/logstash.conf && bin/logstash-plugin install logstash-filter-translate 我没有在这里运气，我敢打赌，答案很简单…任何人都可以指向正确的方向吗？ 谢谢

Filebeat不转发日志

我遵循这里提到的所有步骤readthedocs但我的filebeat不发送日志到URL http：// localhost：9200 / _search？漂亮 。 我的filebeat.yml文件是 – https://ghostbin.com/paste/rrjeh 我没有configuration任何提到的logstash文件。 我的registry文件正在填写filebeat开始后，filebeat日志（syslog）显示没有关于filebeat的错误

linux logstash forwarder ssl IP SANS

我正在学习如何使用logstash和logstash-forwarder。 问题是logstash不允许使用SSL的通信。 我正在使用IP方法而不是DNS。 Kibana，弹性search和Logstash安装在docker容器内。 我已经在容器中生成了一个证书。 在那里，我有/etc/pki/tls/{certs,private}目录，分别持有.crt和.key文件。 我已经将这些复制到docker主机。 如果我运行openssl x509 -noout -text -in logstash-forwarder.crt我可以在证书里面看到我有： X509v3 extensions: X509v3 Subject Alternative Name: IP Address:172.17.0.47 哪个是将要服务kibana的docker集装箱的IP。 在我用作testing主题发送日志（它正在运行一个PHP应用程序和nginx）的docker容器内我有logstash.jsonconfiguration文件，具有： { "network": { "servers": [ "172.17.0.47:5000" ], "timeout": 15, "ssl ca": "/srv/logstash/logstash-forwarder.crt" } 在位置/srv/logstash/logstash-forwarder.crt我可以看到它是相同的密钥，也有行： X509v3 extensions: X509v3 Subject Alternative Name: IP Address:172.17.0.47 在里面。 即SANS是172.17.0.47当我然后运行./logstash-forwarder –config /srv/logstash/logstash.json我得到 2015/07/24 07：57：16.835391从文件设置受信任的CA：/srv/logstash/logstash-forwarder.crt 2015/07/24 07：57：16.835949连接到[172.17.0.47]：5000（172.17.0.47） 2015/07/24 07：57：16.852710与172.17.0.47 […]

在Kube窗格上重新启动LogStash容器

我有一个在GCE上运行的Kubernetes集群，我的一个POD有两个容器： 我的应用程序 Logstash 出于某种原因，POD内的LogStash容器不断重启，请参阅“describe pod”的结果： logstash: Image: logstash:1.5.6 Limits: cpu: 500m memory: 2Gi State: Running Started: Fri, 08 Apr 2016 08:28:53 +0000 Ready: False Restart Count: 12 Conditions: Type Status Ready False Events: FirstSeen LastSeen Count From SubobjectPath Reason Message Fri, 08 Apr 2016 07:34:53 +0000 Fri, 08 Apr 2016 07:34:53 +0000 1 {kubelet kubernetes-minion-1m8z} […]

Docker容器中Javaexception的Filebeat多行parsing不起作用

我正在运行Filebeat来从运行在容器中的Java服务中发送日志。 此容器有许多其他服务正在运行，并且相同的Filebeat守护程序正在收集主机中运行的所有容器的日志。 Filebeat将日志转发到Logstash，并将它们转储到Elastisearch中。 我正在尝试使用Filebeat多行function将来自Javaexception的日志行组合到一个使用以下Filebeatconfiguration的日志条目中： filebeat: prospectors: # container logs – paths: – "/log/containers/*/*.log" document_type: containerlog multiline: pattern: "^\t|^[[:space:]]+(at|…)|^Caused by:" match: after output: logstash: hosts: ["{{getv "/logstash/host"}}:{{getv "/logstash/port"}}"] 应该聚合成一个事件的Java堆栈跟踪的示例： 这个Java stacktrace是一个来自docker日志条目的副本（在运行docker日志java_service之后 ） [2016-05-25 12:39:04,744][DEBUG][action.bulk ] [Set] [***][3] failed to execute bulk item (index) index {[***][***][***], source[{***}} MapperParsingException[Field name [events.created] cannot contain '.'] at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseProperties(ObjectMapper.java:273) at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseObjectOrDocumentTypeProperties(ObjectMapper.java:218) […]

使用Logstash自动检测并读取日志文件更改

上周我一直在使用ELK Stack的集中式日志logging解决scheme。 我目前使用的环境基本上是Elasticsearch，Logstash，Kibana和Logspout的4个容器。 我正在使用带有本地计算机上的共享卷的文件input来收集logstash日志。 我目前使用的logstashconfiguration文件是这样的（logstash.sample.conf）： input { file { path => "/share-logs/lumen.log" stat_interval => 1 type => applumen #sincedb_path => "/share-logs/lumen.log.sincedb" sincedb_path => "/dev/null" } file{ path => "/share-logs/laravel.log" type => applaravel #sincedb_path => "/share-logs/laravel.log.sincedb" stat_interval => 1 sincedb_path => "/dev/null" } file { path =>"/share-logs/server.log" type => appjava #sincedb_path => "/share-logs/server.log.sincedb" sincedb_path => "/dev/null" […]

使用logstashparsingdocker日志

我有一个docker容器login到标准输出/标准错误。 Docker把它的输出保存到/var/lib/docker/containers//-logs.json 日志具有以下结构的行 {"log":"This is a message","stream":"stderr","time":"2015-03-12T19:27:27.310818102Z"} 我应该使用哪种input/编解码器/filter来获取log字段作为message ？ 谢谢！