Tag: CSV CSV

在Python中连接数据框时出现内存错误

我有一个680 MB的大型csv文件，我必须读取一个数据框。 我将文件分成块，然后将这些块附加到列表中。 然后，我试图通过使用pd.concat（）创build一个合并的数据框。 我正在使用下面的代码来实现这一点： temp_list = [] chunksize = 10 ** 5 for chunk in pd.read_csv('./data/properties_2016.csv', chunksize=chunksize, low_memory=False): temp_list.append(chunk) properties_df = temp_list[0] for df in temp_list[1:]: properties_df = pd.concat([properties_df, df], ignore_index=True) 我试图通过运行一个泊坞窗图像来做到这一点。 我得到下面的内存错误： Traceback (most recent call last): File "dataIngestion.py", line 53, in <module> properties_df = pd.concat([properties_df, df], ignore_index=True) File "/usr/local/lib/python3.6/site-packages/pandas/core/reshape/concat.py", line 206, in […]