Hello! 欢迎来到小浪资源网!


如何高效地不使用Pandas对大型二维列表进行分组?


如何高效地不使用Pandas对大型二维列表进行分组?

如何不借助 pandas 快速分组二维列表

在处理大二维列表时,需要一个高效的分组方法。对于连续且长度不等的数据分组,不使用 pandas 模块,我们可以采取以下策略:

生成器和 itertools 模块

通过使用生成器或 itertools 模块,可以避免使用 append 函数并提高处理大数组的效率:

import itertools  def group_data(data):     grouped_data = {}     for key, group in itertools.groupby(data, lambda x: x[0]):         grouped_data[key] = [item[1] for item in group]      return [grouped_data[key] for key in grouped_data]  data = [['A', 33], ['A', 0], ['A', 12], ['A', 3], ['B', 3], ['B', 0], ['B', 77], ['C', 1], ['C', 2], ['C', 5], ['C', 0], ['C', 11], ['C', 19]] print(group_data(data))

解释:

  1. itertools.groupby:使用 itertools.groupby 根据键值(第一列)对数据进行分组。
  2. 列表推导式:使用列表推导式将每个组的数据提取到列表中。

这种方法在处理大数组时,能够有效减少内存占用并提高处理速度,避免使用 append 函数带来的效率问题。

相关阅读