Tag: google cloud storage

Cloud SDK命令gsutil config -a

我正在尝试在我的Dockerfile中包含Google存储的凭据，这样我就不必每次在Kubernetes中创build一个新的Pod或另一个模块。 那么有没有办法像这样把这个命令 gsutil config -a (Access Key) (Secret) 而不是运行命令 gsutil config -a 然后手动插入（访问密钥）和（秘密）。 谢谢

是什么原因导致了GCS接收器抛出OutOfMemoryExceptionexception

我正在使用flume写入Google云端存储。 Flume监听HTTP:9000 。 我花了一些时间来使其工作（添加gcs库，使用凭证文件…），但现在它似乎通过networking进行通信。 我发送非常小的HTTP请求为我的testing，我有足够的RAM可用： curl -X POST -d '[{ "headers" : { timestamp=1417444588182, env=dev, tenant=myTenant, type=myType }, "body" : "some body ONE" }]' localhost:9000 我第一次请求遇到这个内存exception（当然，它停止工作）： 2014-11-28 16:59:47,748 (hdfs-hdfs_sink-call-runner-0) [INFO – com.google.cloud.hadoop.util.LogUtil.info(LogUtil.java:142)] GHFS version: 1.3.0-hadoop2 2014-11-28 16:59:50,014 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR – org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:467)] process failed java.lang.OutOfMemoryError: Java heap space at java.io.BufferedOutputStream.<init>(BufferedOutputStream.java:76) at com.google.cloud.hadoop.fs.gcs.GoogleHadoopOutputStream.<init>(GoogleHadoopOutputStream.java:79) at com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystemBase.create(GoogleHadoopFileSystemBase.java:820) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:906) […]