Tag: elasticsearch docker logstash docker
如何使用docker将CSV数据导入到elasticsearch？
我在我的本地机器上跟随了ElasticStack_nyc_traffic_accidents的教程，并使其工作。 在本教程中，他们使用logstash命令将所有CSVlogging到elasticsearch中： cat mypath/nyc_collision_data.csv | <path_to_logstash>/bin/logstash -f nyc_collision_logstash.conf 我已经有一个docker-composeconfiguration的docker容器来获取我的elasticsearch，kibana和headPlugin作为服务。 我不明白的是，我是否需要下载另一个logstash的图像使其成为dockercompose中的服务，并以某种方式加载elasticsearch服务中的所有CSV数据？ …或者我可以只使用elasticsearch服务和一个命令加载所有的CSV到elasticsearch？ 我可以发布我的docker-compose.yml，elasticsearch.yml，kibana.yml和dockerfile与elasticsearch图像，如果需要的只是让我知道。
使用'docker-compose'命令运行Elasticsearch，Logstash和Kibana
我将用以下docker-compose.yml文件docker-compose.yml docker-compose命令运行ELK： — version: '2' services: kibana: image: docker.elastic.co/kibana/kibana links: – elasticsearch ports: – 5601:5601 kibana: image: docker.elastic.co/logstash/logstash links: – elasticsearch ports: – 5044:5044 elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch cap_add: – IPC_LOCK volumes: – esdata1:/usr/share/elasticsearch/data ports: – 9200:9200 volumes: esdata1: driver: local 但是我有几个问题： 1）我指定links参数链接容器，但我也应该指定networks参数？ 它是干什么用的？ 2）如何更改Elasticsearch，Logstash和Kibana的默认用户名和密码？ 3）Elasticsearchconfiguration参数存储在elasticsearch.yml文件中，但我可以在哪里find该文件？ 是否有可能直接在docker-compose.yml文件中定义Elasticsearch参数，例如path.data ， path.logs ， cluster.name ， node.name ？
Filebeats不会向Docker撰写日志，为什么呢？
我正在按照这个教程设置一个ELK栈（VPS B），它将使用Beatfile作为转发器来接收一些Docker / docker组合图像日志（VPS A），我的图如下所示 到目前为止，我已经设法使所有的接口与绿色蜱工作。 但是，仍然有一些我不能理解的问题。 因此，如果有人能帮我一下，我将不胜感激。 我的主要问题是，我没有从VPSA获取任何Docker / docker-compose日志到VPSB的Filebeat服务器; 不过，我在VPSB的Filebeat服务器上获得了来自VPSA的其他日志，如rsyslog，authentication日志等。 我已经configuration了我的docker-compose文件来使用rsyslog转发日志作为日志驱动程序，然后filebeat将这个syslog转发给VPSB。 到达这一点，我确实看到docker守护进程本身的日志，比如虚拟接口上/下，启动进程等等，而不是监视器本身的“debugging”日志。 VPSA中Filebeat客户端的configuration如下所示 root@VPSA:/etc/filebeat# cat filebeat.yml filebeat: prospectors: – paths: – /var/log/auth.log – /var/log/syslog # – /var/log/*.log input_type: log document_type: syslog registry_file: /var/lib/filebeat/registry output: logstash: hosts: ["ipVPSB:5044"] bulk_max_size: 2048 tls: certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"] shipper: logging: files: rotateeverybytes: 10485760 # = 10MB level: debug 一个docker-compose日志驱动程序看起来像这样 […]
Docker-compose链接vs external_links
我相信这是一个简单的问题，但我仍然没有从Docker-compose文档中得到它。 链接和external_links有什么区别？ 我喜欢external_links，因为我想要核心docker-compose，我想扩展它，而不会覆盖核心链接。 我到底是什么，我正在设置logstash，这取决于elasticsearch。 Elasticsearch是核心的docker-compose，logstash是在依赖的。 所以我不得不在docker-compose中定义弹性search作为参考，因为logstash需要它作为链接。 但是Elasticsearch已经有了自己的链接，我不想在依赖链接中重复它们。 我可以使用external_link而不是链接吗？ 我知道，链接将确保链接之前链接，external_link是否会执行相同的？ 任何帮助表示赞赏。 谢谢。
