Tag: amazon s3

Elastic Beanstalk运行一周后CPU负载很高

我正在AWS Beanstalk上运行单实例工作器。 这是一个单容器的Docker，每个工作日运行一次。 大多数情况下，这些进程同步S3中的大量小文件并分析这些文件。 该设置运行良好大约一个星期，然后CPU负载开始时间线性增长，如在此屏幕截图。 CPU负载保持在相当的水平，放慢我的预定进程。 同时，我在容器内运行的顶级资源跟踪（ 特权的 Docker模式启用它）： echo "%CPU %MEM ARGS $(date)" && ps -e -o pcpu,pmem,args –sort=pcpu | cut -d" " -f1-5 | tail 几乎没有CPU负载（仅在我的日常过程运行的时间内发生变化，看起来准确地反映了那些时间的系统负载）。 这个“背景”系统负载的来源是什么？ 想知道是否有人看到一些类似的行为，并且/或者可以从正在运行的容器内部build议额外的诊断。 到目前为止，我一直在重新启动设置每周删除“背景”的负载，但这是次优，因为每次重新启动后第一次运行必须从S3收集超过100万的小文件（而随后的每日运行只添加每天几千个文件）。

docker如何处理文件创build？

我的代码将mongo集合转储到本地文件夹，然后上传到s3存储桶 cmd = "mongoexport " \ "–host " + url + \ " –port " + str(port) + \ " –username " + user + \ " –password " + password + \ " –db " + db_name + \ " –collection " temp = cmd + name + " –out dump/" + name + […]

Docker Registry 2.0与Amazon S3和TLS设置

我正在尝试在我们的亚马逊云中为我们公司build立内部的docker-registry，它将把所有内容存储在S3中，并使用TLS 这是我做的步骤： 1）在亚马逊创build新的机器人帐户 2）创build并分配新的策略到该机器人： { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "arn:aws:s3:::*" }, { "Effect": "Allow", "Action": "s3:*", "Resource": [ "arn:aws:s3:::docker-repo-storage", "arn:aws:s3:::docker-repo-storage/*" ] } ] } 3）根据策略创build相同名称的桶“ docker-repo-storage ” 4）安装docker： curl -sSL https://get.docker.com/ | sh 5）下载“ / etc / docker / certs / ”我们公司的wildchar证书和密钥 6）在“ /etc/docker/config/config.yml ”中创buildconfiguration文件 version: 0.1 log: level: […]