Tag: 水槽

重新启动Docker容器后，Apache水槽不能从检查点恢复

我在Docker中设置了一个rabbitmq源文件，一个安装目录中的filechannel和一个AWS kinesis接收器。 我正在使用AWS ECS在集群中运行Docker容器，该集群会自动重新启动已closures的Docker容器。 它通常通过非常快速地消耗rabbitmq中的大部分数据，然后使用文件通道作为缓冲区，将数据缓慢推入Kinesis。 我的问题是，docker容器重新启动时，它似乎没有再次从通道的检查点开始，并且许多消息都丢失。 有没有人有自动从检查点重新启动flume的经验？

使用stream畅和水槽无限增加的文件描述符的数量

在Docker容器中运行stream畅的代理和stream畅的插件。 一段时间后，我的容器内的一些程序失败，出现下一个错误： Check failed: _s.ok() Bad status: Runtime error: Could not create thread: Resource temporarily unavailable (error 11) 我发现Docker容器中的文件描述符的数量无限增加： sudo lsof| grep flume | wc -l 469292 过了一段时间，描述符的数量变大了，那么文件描述符就会受到限制。 看起来，节点连接是以错误的方式处理的：文件描述符在事务结束后仍然存在。 Fluendconfiguration： <source> @type forward tag forward_1 bind 0.0.0.0 port 24224 linger_timeout 0 </source> <match forward_1> @type copy <store> @type flume timeout 15 host localhost port 33333 […]