Tag: elasticsearch
在EC2容器服务上使用Docker的ELK堆栈
我正在考虑在AWS上使用Docker镜像设置ELK（ElasticSearch，LogStash和Kibana）堆栈。 但是我不确定性能和持久存储。 如果我只是使用我的configuration将Docker映像部署到EC2容器服务，那么我想我还需要指出一个位置，用于LogStash和ElasticSearch的持久存储。 S3存储速度是否足够快，或者当我谈论日志时，这一点甚至是很重要的。 我非常肯定，我可以在索引上延迟一些分钟，但是使用Kibana，我希望能够合理快速地获得数据。 这是一个可行的解决scheme，每天都有一些价值的日志的生产设置。 一旦我们看到这个价值，我预计日志量会上升，并开始更多的日志以获得更多的洞察力。 所以： 使用S3存储日志文件足够快吗？ 对于每天生产5个以上数据的生产站点，这是一个可行的解决scheme吗？
从Ansible或Fig。的Docker运行中传递参数（如-Des.node.name =“TestNode”）
我需要使用dockerhub官方镜像中的dockerized Elasticsearch并使用Fig或Ansible启动Docker容器。 两者都可以select传递标准的docker run命令参数，如端口，卷等，但我找不到像-Des.node.name="TestNode"这样的参数来configurationElasticsearch集群名称等的方法。 我不能修改Dockerfile来修改configuration，因为它们是运行时configuration，在安装时不同，因此需要在运行时通过。 有没有人有任何想法如何使用无花果或Ansible通过这样的参数。
Docker从主机访问elasticsearch端点
我使用以下命令运行docker镜像： docker run -P elasticsearch:2.2 我能够从主机访问在端口9200上运行的http端点，但我不清楚如何设置publish_address，使其不会改变。 我试图修改elasticsearch.yml并将network.publish属性设置为分配给docker0和eth0的ip地址以及lo，即使它在启动时确认了输出中的绑定，curl到地址给了我一个拒绝的连接。
docker集装箱/ AWS EC2公共DNS拒绝连接
即使安全组“default”和“launch-wizard-1”端口80对入站和出站stream量打开，我也无法通过浏览器上的公共dns连接到EC2实例。 这可能是重要的，我注意到，我有一个在实例中运行的docker镜像，我使用它启动： docker run -d -p 80:80 elasticsearch 我在这个印象之前，转发到EC2实例的端口80的容器的80端口，是正确的？
无法通过弹性search与“已configuration的节点不可用”
我有弹簧启动应用程序与ElasticSearch 5.0.0 alpha 2沟通。我的应用程序成功地与弹性沟通和预制几个查询。 当我尝试dockerize我的应用程序时，它无法与ElasticSearch通信，我得到以下错误： 没有configuration的节点可用：[{＃transport＃-1} {127.0.0.1} {127.0.0.1:9300}] 我在互联网上花了很多时间，但是在ElasticSearch被docker化的时候，我发现了一些问题，但是在我的情况下，客户端被docker化了，没有Docker的情况下它工作的很好。 我用来创builddocker镜像的命令是： docker build -t my-service。 DockerFile是： FROM java:8 VOLUME /tmp ADD ./build/libs/myjarfile-2.0.0.jar app.jar EXPOSE 8090 RUN sh -c 'touch /app.jar' ENTRYPOINT ["java","-Djava.security.egd=file:/dev/./urandom","-jar","/app.jar"] 执行我使用的镜像： docker run –name myname -d -p 8090：8090 -t my-service 有人可以分享他/她的这个问题的经验吗？ 谢谢Guy Hudara
弹性search过程的最大文件描述符太低，增加到至less
使用Ubuntu 16.10 Docker 1.12.3 Docker Composer 1.8官方弹性Docker镜像的弹性最新标签 泊坞窗，compose.yml version: '2' services: elastic: image: elasticsearch environment: – ES_JAVA_OPTS=-Xmx2g -Xms2g 获取日志 elastic_1 | 错误：引导程序检查失败的elastic_1 | 对于弹性search过程，最大文件描述符[4096]太低，增加到至less[65536] elastic_1 | [2016-11-18T17：48：17,058] [INFO] [oenNode] [HK_OIan]停止… 任何想法，谢谢
parsing日志fluentd
我有本地服务器在docker容器中运行，它被设置为使用fluentd作为日志驱动程序。 我有docker撰写文件，在自己的容器中运行fluentd，nginx，elasticsearch和kibana。 所以fluentd从我的服务器取得日志，传递给elasticsearch并显示在Kibana上。 我的问题是，如何parsing我的日志fluentd（elasticsearch或kibana如果不可能在fluentd中）来制作新的标签，所以我可以对它们进行sorting，并且更容易导航。 这是Kibana中显示的当前日志。 现在我想把这个日志string'破解'成新的标签。 在这种情况下： 2017/01/04 13:26:56.574909 UTC (Example deployment.web) [INFO] [GET] /api/device/ 200 10.562379ms 至 date: 2017/01/04 time: 13:26:56.574909 UTC message: (Example deployment.web) logType: [INFO] other: [GET] /api/device/ 200 10.562379ms 我的docker-compose.yml version: "2" services: fluentd: image: fluent/fluentd:latest ports: – "24224:24224" volumes: – ./fluentd/etc:/fluentd/etc command: /fluentd/etc/start.sh networks: – lognet elasticsearch: image: elasticsearch ports: […]
来自Docker和Docker Elasticsearch映像的新手的一些问题
我在Elasticsearch和Docker上都是新手，对此我有一些疑问。 我通过以下命令获取了docker / elastic image： docker pull docker.elastic.co/elasticsearch/elasticsearch:5.4.2 我是这样开始的： docker run -p 9200:9200 -e "http.host=0.0.0.0" -e "transport.host=127.0.0.1" docker.elastic.co/elasticsearch/elasticsearch:5.4.2 这是我的问题： 我从docker文档知道“docker运行”命令用于在容器内运行特定的命令。 那么根据上一个，unix命令是什么？ docker run -p 9200：9200（将所有暴露的端口发布到随机端口）-e“http.host = 0.0.0.0”-e“transport.host = 127.0.0.1”（设置环境variables）docker.elastic.co/elasticsearch /elasticsearch:5.4.2（图片名称） 那么命令在哪里？ 我怀疑这就像弹性search一起开始的容器。 如果是这样，形象的创造者如何做到这一点？ 没有弹性的标准输出的情况下运行容器的最佳方式是什么？ 我试图build立一个基于CentOS的自定义docker镜像，我想在其中安装elasticsearch（通过rpm）。 安装工作正常，但是当我尝试通过systemctl运行elasticsearch.service时出现以下错误： 无法获得D-Bus连接：不允许操作 我该如何解决这个问题？
不能访问docker for windows linux容器中的elasticsearch
我主要在Windows上使用Bash子系统，有docker for windows（版本17.06.0-ce-win19（12801））安装并设置为Linux容器。 我试图通过以下命令启动它 sudodocker运行-d -p 9200 elasticsearch：2.3.5 如果我尝试通过在bash中curl来访问它，或者浏览器没有find它。 我曾尝试以下几点： 本地主机：9200 127.0.0.1:9200 （容器IP地址）：9200 [通过dockernetworking检查桥获得] （我的本地IP地址）：9200 [ifconfig] docker日志e727aa95a49d [2017-07-30 01：07：50,114] [WARN] [bootstrap]无法安装系统调用filter：seccomp不可用：您的内核有问题，您应该升级 [2017-07-30 01：07：50,296] [INFO] [node] [Alysande Stuart]版本[2.3.5]，pid [1]，build [90f439f / 2016-07-27T10：36：52Z] [2017-07-30 01：07：50,296] [INFO] [node] [Alysande Stuart]正在初始化… [2017-07-30 01：07：51,046] [INFO] [插件] [Alysande Stuart]模块[reindex，lang-expression，lang-groovy]，插件[]，网站[] [2017-07-30 01：07：51,066] [INFO] [env] [en] Alysande Stuart]使用[1]数据path，挂载[[/ usr / share / elasticsearch […]
在kubernetes statefulset中的弹性search数据目录上显示时，权限被拒绝
希望有人能帮我解决看起来是一个权限错误。 我正在尝试使用官方的elasticsearch docker镜像来启动一个3节点的elasticsearch集群。 当容器启动时，我得到了弹性search在/ usr / share / elasticsearch / data / nodes上的“访问被拒绝”错误，所以我尝试添加一个命令来使elasticsearch成为/ usr / share / elasticsearch / data的所有者。但是当我包含chown命令时会出现这些错误： chown: cannot read directory '/usr/share/elasticsearch/data/lost+found': Permission denied chown: changing ownership of '/usr/share/elasticsearch/data': Operation not permitted 这是我的statefulset yaml文件： apiVersion: apps/v1beta1 kind: StatefulSet metadata: name: esnode spec: serviceName: elasticsearch-transport replicas: 3 template: metadata: labels: app: evo-pro-cluster spec: […]
