팬더는 각 그룹 내에서 최고 n 개의 레코드를 얻습니다.


162

다음과 같이 팬더 DataFrame이 있다고 가정하십시오.

>>> df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]})
>>> df
   id  value
0   1      1
1   1      2
2   1      3
3   2      1
4   2      2
5   2      3
6   2      4
7   3      1
8   4      1

다음과 같이 각 ID에 대해 상위 2 개의 레코드가있는 새로운 DataFrame을 얻고 싶습니다.

   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

그룹별로 그룹 내에서 번호 매기기 레코드로 수행 할 수 있습니다.

>>> dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index()
>>> dfN
   id  level_1  index  value
0   1        0      0      1
1   1        1      1      2
2   1        2      2      3
3   2        0      3      1
4   2        1      4      2
5   2        2      5      3
6   2        3      6      4
7   3        0      7      1
8   4        0      8      1
>>> dfN[dfN['level_1'] <= 1][['id', 'value']]
   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

그러나 이것을 수행하기위한보다 효과적이고 우아한 접근법이 있습니까? 또한 각 그룹 내에서 레코드 수를 정교 하게 접근하는 방법도 있습니다 (예 : SQL 창 함수 row_number () ).



1
"top-n"은 당신이 찾고있는 것처럼 "n top / first / head rows"를 의미하지 않습니다! "가장 큰 값을 가진 n 개의 행"을 의미합니다.
smci

답변:


183

시도해 보았 니 df.groupby('id').head(2)

출력 생성 :

>>> df.groupby('id').head(2)
       id  value
id             
1  0   1      1
   1   1      2 
2  3   2      1
   4   2      2
3  7   3      1
4  8   4      1

(데이터에 따라 사전에 주문 / 정렬해야 할 수도 있습니다)

편집 : 질문자가 언급했듯이 df.groupby('id').head(2).reset_index(drop=True)multindex를 제거하고 결과를 평평하게하는 데 사용 하십시오.

>>> df.groupby('id').head(2).reset_index(drop=True)
    id  value
0   1      1
1   1      2
2   2      1
3   2      2
4   3      1
5   4      1

1
그렇습니다. 어떻게 든 간과했습니다. 그룹 내에서 레코드 번호를 매기는 좋은 방법을 알고 있습니까?
로마 Pekar

4
필요한 결과를 얻기 위해 다음도 추가했습니다.reset_index(drop=True)
Roman Pekar

1
github.com/pydata/pandas/pull/5510 이 합병되었습니다. 이 작업을 수행하는 새로운 방법 인 0.13이 cumcount됩니다 (각 그룹의 레코드 번호
Jeff

1
@ 제프 좋은 소식. 팬더에 기여할 시간이 더 있었으면 좋겠습니다. (
Roman Pekar

3
당신이 당이 개 가장 작은 값을 원하는 경우,보다 완벽한 그의 대답을 @dorvak 확인하려면 id다음을 수행을 df.sort_values(['id', 'value'], axis=0).groupby('id').head(2). 다른 예에서, 가장 큰 값은 id로 제공됩니다 df.sort_values(['id', 'value'], axis=0).groupby('id').tail(1).
Elmex80s

132

0.14.1 때문에 , 당신은 지금 할 수있는 nlargestnsmallestA의 groupby객체 :

In [23]: df.groupby('id')['value'].nlargest(2)
Out[23]: 
id   
1   2    3
    1    2
2   6    4
    5    3
3   7    1
4   8    1
dtype: int64

원래 색인도 얻을 수있는 약간의 이상한 점이 있지만 이것은 원래 색인 무엇인지에 따라 실제로 유용 할 수 있습니다 .

당신이 그것에 관심이 없다면, 당신 .reset_index(level=1, drop=True)은 그것을 완전히 없애기 위해 할 수 있습니다 .

(참고 : 0.17.1부터는 DataFrameGroupBy 에서도이 작업을 수행 할 수 있지만 현재는 Seriesand 만 사용할 수 있습니다 SeriesGroupBy.)


얻을 수있는 방법이 unique_limit(n)있습니까? 첫 번째 n 개의 고유 값을 원하는 것처럼? 내가 요청하면 nlargest비싼 전체 df를 정렬합니다
citynorman

2
그룹별로 집계를 수행하는 경우에는 작동하지 않습니까? 예를 들어, df.groupby([pd.Grouper(freq='M'), 'A'])['B'].count().nlargest(5, 'B') 이것은 그냥 각각의 그룹에 의해, 시리즈 전체에 전체 상위 5를 반환
geominded

DataFrameGroupBys 에서도 이것이 가능하다는 진술은 거짓으로 보이고 링크 된 풀 요청은 nlargest단순한 것에 추가 하는 것처럼 보입니다 DataFrame. 둘 이상의 열을 선택하려면 어떻게됩니까?
oulenz

7

때로는 전체 데이터를 미리 정렬하는 데 시간이 많이 걸립니다. 먼저 그룹별로 그룹화하고 각 그룹에 대해 APK를 수행 할 수 있습니다.

g = df.groupby(['id']).apply(lambda x: x.nlargest(topk,['value'])).reset_index(drop=True)
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.