pandas groupby + unstack的使用說明

概述

groupby（）可以根據(jù)DataFrame中的某一列或者多列內(nèi)容進(jìn)行分組聚合，當(dāng)DataFrame聚合后為兩列索引時(shí)，可以使用unstack()將聚合的兩列中一列值調(diào)整為行索引，另一列的值調(diào)整為列索引。

代碼說明

test_df = pd.DataFrame({ 'col_1':['a', 'a', 'b', 'a', 'a', 'b', 'c', 'a', 'c'],
                   'col_2':['d', 'd', 'd', 'e', 'f', 'e', 'd', 'f', 'f'],
                   'col_3':[ 1, 2, 3,  1, 4, 5, 6, 4, 5]})

1.僅對(duì)數(shù)據(jù)進(jìn)行分組聚合

df1=test_df.groupby(['col_1', 'col_2']).count()
df1:
           col_3
col_1   col_2    
  a    d     2
       e     1
       f     2
  b    d     1
       e     1
  c    d     1
       f     1
df.index:
MultiIndex(levels=[['a', 'b', 'c'], ['d', 'e', 'f']],
      labels=[[0, 0, 0, 1, 1, 2, 2], [0, 1, 2, 0, 1, 0, 2]],
      names=['col_1', 'col_2'])
df1.columns:
Index(['col_3'], dtype='object')

2.對(duì)分組聚合后的數(shù)據(jù)進(jìn)行unstack

df2=test_df.groupby(['col_1', 'col_2']).count().unstack()
df2:
      col_3     
col_2   d  e  f
col_1        
a    2.0 1.0 2.0
b    1.0 1.0 NaN
c    1.0 NaN 1.0
df2.index:
Index(['a', 'b', 'c'], dtype='object', name='col_1')
df2.columns:
MultiIndex(levels=[['col_3'], ['d', 'e', 'f']],
      labels=[[0, 0, 0], [0, 1, 2]],
      names=[None, 'col_2'])

3.對(duì)分組聚合后的某列進(jìn)行unstack

df3=test_df.groupby(['col_1', 'col_2']).count()['col_3'].unstack()
df3:
col_2   d   e    f
col_1        
a     2.0  1.0   2.0
b     1.0  1.0   NaN
c     1.0  NaN   1.0
df.index:
Index(['a', 'b', 'c'], dtype='object', name='col_1')
de.columns:
Index(['d', 'e', 'f'], dtype='object', name='col_2')

補(bǔ)充：pandas中pivot()方法和groupby()方法的說明和對(duì)比

pandas中有兩個(gè)很有用的方法，pivot()或者pivot_table()和groupby()，其中pivot()方法是指定相應(yīng)的列分別作為行標(biāo)簽和列標(biāo)簽，并指定相應(yīng)的列作為值，然后重新生成一個(gè)新的DataFrame對(duì)象，這樣的好處是使得數(shù)據(jù)更加的直觀和容易分析，俗稱數(shù)據(jù)透視；而groupby()方法是指定相應(yīng)的列進(jìn)行分組，把這列中具有相同值的行分為同一組，這個(gè)過程稱為分組，返回一個(gè)groupby對(duì)象，一般的，分組之后會(huì)伴有聚合運(yùn)算，即對(duì)每組進(jìn)行需要的聚合運(yùn)算（比如求和求積等）。

因此，pivot()方法是為了讓數(shù)據(jù)重新排列組合，使其更直觀，數(shù)據(jù)透視；而groupby()方法則是對(duì)數(shù)據(jù)進(jìn)行分組聚合運(yùn)算；兩者實(shí)際上功能特點(diǎn)很明顯，并沒有什么可比性，只是在利用這兩種方法時(shí)，原數(shù)據(jù)的結(jié)構(gòu)是有些相似的，僅此而已；anyway,本文硬是把兩者放在一起比較確實(shí)有些牽強(qiáng)的。

但實(shí)際上本文的目的是通過使用這兩種不同的方法達(dá)成一個(gè)相同的目的，由此明晰兩種方法的用法和優(yōu)劣勢(shì)，并由此更好的掌握它們。

首先我們構(gòu)造一個(gè)DataFrame對(duì)象，如圖。

其中reindex方法是為了調(diào)換name和date兩列的順序。

現(xiàn)在我們有一個(gè)目標(biāo)是去計(jì)算每個(gè)人在所有日期的總的value，對(duì)此，我們先用pivot()方法看看如何實(shí)現(xiàn)。

如下圖，首先對(duì)df1利用pivot()方法進(jìn)行重新排列，具體的參數(shù)如圖，以name為行標(biāo)簽，date為列標(biāo)簽，values為值，其中在原表中沒有對(duì)應(yīng)值，則顯示NaN。

經(jīng)過重新排列，我們可以很直觀的看出在原表中name和data兩列對(duì)應(yīng)值的對(duì)應(yīng)關(guān)系，這更有助于我們分析name、date、values這三列的關(guān)系，這才是pivot()方法的主要功能。

當(dāng)然，對(duì)于我們最初的目標(biāo)，我們可以通過對(duì)NaN填充0值，然后再對(duì)每列求和即可，即df2.sum(axis=1)。

然后，我們?cè)儆胓roupby()方法來實(shí)現(xiàn)我們的目標(biāo)，具體代碼如圖。

這里，我們只要對(duì)name列進(jìn)行分組，得到分組后的groupby對(duì)象，然后再對(duì)values列進(jìn)行求和，最后就會(huì)返回每個(gè)名字對(duì)應(yīng)的總的value。

通過以上論述，可知要達(dá)成我們的最初的目標(biāo)，顯然groupby()方法要簡(jiǎn)單的多，這當(dāng)然是由于pivot()和grouby()的功能特性所決定的，因?yàn)檫@本來就是groupby()所擅長(zhǎng)的。

這里用pivot()來實(shí)現(xiàn)我們的目標(biāo)雖然是可以，但是明顯大材小用了。

我們通過這些例子就是想說明兩者的用法，以及不同的功能特點(diǎn)，以此更好的掌握和理解這兩種方法。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。