在EC2容器服务上使用Docker的ELK堆栈

我正在考虑在AWS上使用Docker镜像设置ELK(ElasticSearch,LogStash和Kibana)堆栈。 但是我不确定性能和持久存储。

如果我只是使用我的configuration将Docker映像部署到EC2容器服务,那么我想我还需要指出一个位置,用于LogStash和ElasticSearch的持久存储。 S3存储速度是否足够快,或者当我谈论日志时,这一点甚至是很重要的。 我非常肯定,我可以在索引上延迟一些分钟,但是使用Kibana,我希望能够合理快速地获得数据。

这是一个可行的解决scheme,每天都有一些价值的日志的生产设置。 一旦我们看到这个价值,我预计日志量会上升,并开始更多的日志以获得更多的洞察力。

所以:

  1. 使用S3存储日志文件足够快吗?

  2. 对于每天生产5个以上数据的生产站点,这是一个可行的解决scheme吗?

您可以看看AWS Elasticsearch服务 。 它是Elastic Search和Kibana在AWS上的服务,您不必手动pipe理。 我刚刚开始将它用于我的(桌面应用程序)用户自愿报告的应用程序级别的事件,这非常有用。