在点击内容中导入大文件的问题

以下语句仅加载部分数据(几乎是实际的40%)。错误如下所述:

cat dr_201604.csv | docker run -i --rm \ --link clickhouse-server:clickhouse-server \ yandex/clickhouse-client \ clickhouse-client --host clickhouse-server \ --query="INSERT INTO dlr FORMAT CSV" 

代码:117. DB :: Exception:预计行结束

读取unix @ – > / var / run / docker.sock:read:由对等方重置连接

这必须是一个docker问题,因为clickhouse网站没有提及可以摄入多less数据的任何限制。 dr_201604.csv是大于4 GB的文件。 如果我只select10行(sample.csv),那么它加载没有任何问题。

 head dr_201604.csv > sample.csv 

有没有限制,只有约800 MB的数据可以pipe道?


更新:

我尝试在容器中安装卷,仍然能够加载与以前完全相同的行数:

 docker run -i --rm \ --volume /home/ec2-user/:/tmp/ --entrypoint=/bin/sh \ --link clickhouse-server:clickhouse-server \ yandex/clickhouse-client \ -c "cat /tmp/dr_201604.csv | clickhouse-client --host clickhouse-server --query='INSERT INTO dlr FORMAT CSV' "