用python如何读取10G的超大文件

学习或者工作当中经常会碰到处理大文件的时候, 如果你只有一台普通电脑该如何处理呢? 今天跟大家分享一个处理技巧, 就算现在没有碰到, 点右上角先收藏说不定以后会用到呢!

思路

硬件条件有限, 我们可以试试用pandas分块读取, 读取文件后一般有3种处理办法:

1. 读取后拆分为多个小文件存放
2. 读取后筛选部分信息合并为一个文件
3. 对数据进行汇总(数据透视)后存储

(解释: 比如原始数据是一个按时间的明细, 可以读取后按年或者按月保存问题; 这种大文件有时候列比较多, 但不一定都是我们需要的, 我们可以只筛选部分有用的列; 明细数据我们只使用一次, 需要的是汇总数据, 我们就可以透视后保存结果, 以后只读取结果数据即可)

代码

# 读取后保存为多个文件
import pandas as pd
file = pd.read_csv('./data/汇总表.csv',iterator=True)  # iterator=True 表示分块读取
n = 0
while True:
    chunk = file.get_chunk(5000000) # 每次读取500万条数据
    chunk[['pdf', 'fs', 'ey','nd']].to_hdf(str(n)+'_data.h5',key='xy') # 筛选部分列保存为hdf文件格式
    print(chunk.tail(10))
    n = n +1

# 读取后合并为一个文件
file = pd.read_csv('./data/汇总表.csv', iterator=True)
loop = True
chunkSize = 1000000
chunks = []
while loop:
    try:
        chunk = reader.get_chunk(chunkSize)
        chunks.append(chunk)
    except StopIteration:
        loop = False
        print("读取完成")        
df = pd.concat(chunks, ignore_index=True)  # 合并成一个文件