pandas把dataframe平均分割成多份

pandas把dataframe平均分割成多份

场景

这个需求感觉比较常见，例如我想对一个比较大的df做多线程，把处理时间从23小时降为1小时，需要把这个dataframe平均分割成20份喂到每个线程中，但在网上搜索了下没有找到合适的代码，故记录下来。

输入输出都比较明确，所以直接贴代码吧

import math
import pandas as pd
from tqdm import tqdmdef cut_df(file_name, n):df = pd.read_csv(file_name)df_num = len(df)every_epoch_num = nath.floor((df_num/n))for index in tqdm(range(n)):file_name = f'./XXX_{index}.csv'if index < n-1:df_tem = df[every_epoch_num * index: every_epoch_num * (index + 1)]else:df_tem = df[every_epoch_num * index:]_csv(file_name, index=False)

其中file_name是你要切割的文件名，我这边是设置的csv，如果你的是excel吧读取函数改一下就行，n是要切成的份数

感谢DXZE发现错误，少了条from tqdm import tqdm，已经补上了