시리즈 / 데이터 프레임 열의 팬더 조건부 생성


314

아래 줄을 따라 데이터 프레임이 있습니다.

    Type       Set
1    A          Z
2    B          Z           
3    B          X
4    C          Y

Set = 'Z'인 경우 초록색을 설정하고 Set = 그렇지 않은 경우 '빨간색'을 설정하는 데이터 프레임 (= 동일한 레코드 / 행 수)과 동일한 길이의 데이터 프레임에 다른 열을 추가하거나 시리즈를 생성하려고합니다. .

가장 좋은 방법은 무엇입니까?

답변:


711

선택할 수있는 두 가지 옵션 만있는 경우 :

df['color'] = np.where(df['Set']=='Z', 'green', 'red')

예를 들어

import pandas as pd
import numpy as np

df = pd.DataFrame({'Type':list('ABBC'), 'Set':list('ZZXY')})
df['color'] = np.where(df['Set']=='Z', 'green', 'red')
print(df)

수확량

  Set Type  color
0   Z    A  green
1   Z    B  green
2   X    B    red
3   Y    C    red

조건이 두 개 이상인 경우을 사용하십시오np.select . 예를 들어, 당신이 원하는 경우 color

  • yellow 언제 (df['Set'] == 'Z') & (df['Type'] == 'A')
  • 그렇지 않은 blue경우(df['Set'] == 'Z') & (df['Type'] == 'B')
  • 그렇지 않은 purple경우(df['Type'] == 'B')
  • 그렇지 않으면 black,

그런 다음 사용

df = pd.DataFrame({'Type':list('ABBC'), 'Set':list('ZZXY')})
conditions = [
    (df['Set'] == 'Z') & (df['Type'] == 'A'),
    (df['Set'] == 'Z') & (df['Type'] == 'B'),
    (df['Type'] == 'B')]
choices = ['yellow', 'blue', 'purple']
df['color'] = np.select(conditions, choices, default='black')
print(df)

생산량

  Set Type   color
0   Z    A  yellow
1   Z    B    blue
2   X    B  purple
3   Y    C   black

1
where 절 안에 두 조건을 넣은 경우 작동하지 않습니다
Amol Sharma

2
df [ 'color'] = list (np.where (df [ 'Set'] == 'Z', 'green', 'red'))는 팬더 경고를 억제합니다 : 값이 사본에 설정됩니다 DataFrame에서 슬라이스 대신 .loc [row_indexer, col_indexer = 값을 이용하여 시도
DENSON

3
'green'과 'red'는 열 산술로 대체 할 수도 있습니다. 예를 들어 ,df['foo'] = np.where(df['Set']=='Z', df['Set'], df['Type'].shift(1))
알레한드로

np.where는 새로운 열을 생성합니까? 이 코드를 사용했고 df.color.head ()를 수행하면 'numpy.ndarray'객체에 'head'속성이 없습니다.
vvv

3
내가 이것을 여러 번지지 할 수없는 것은 부끄러운 일입니다. 하나의 공감으로는 충분하지 않은 것 같습니다.
Harper

120

목록 이해는 조건부로 다른 열을 만드는 또 다른 방법입니다. 예제와 같이 열에서 객체 dtype을 사용하는 경우 목록 이해가 일반적으로 다른 방법보다 성능이 뛰어납니다.

목록 이해의 예 :

df['color'] = ['red' if x == 'Z' else 'green' for x in df['Set']]

% timeit 테스트 :

import pandas as pd
import numpy as np

df = pd.DataFrame({'Type':list('ABBC'), 'Set':list('ZZXY')})
%timeit df['color'] = ['red' if x == 'Z' else 'green' for x in df['Set']]
%timeit df['color'] = np.where(df['Set']=='Z', 'green', 'red')
%timeit df['color'] = df.Set.map( lambda x: 'red' if x == 'Z' else 'green')

1000 loops, best of 3: 239 µs per loop
1000 loops, best of 3: 523 µs per loop
1000 loops, best of 3: 263 µs per loop

4
훨씬 더 큰 dataframes (생각과 함께, 참고 pd.DataFrame({'Type':list('ABBC')*100000, 'Set':list('ZZXY')*100000})- 크기)을 numpy.where훨씬 앞서 map있지만, 지능형리스트 왕이 (약 50 %보다 더 빨리이다 numpy.where).
blacksite

3
조건에 여러 열의 정보가 필요한 경우 목록 이해 방법을 사용할 수 있습니까? 나는 다음과 같은 것을 찾고있다 (이것은 작동하지 않는다) :df['color'] = ['red' if (x['Set'] == 'Z') & (x['Type'] == 'B') else 'green' for x in df]
Mappi

2
데이터 프레임에 반복을 추가하면 행을 통해 여러 열에 액세스 할 수 있습니다. [ 'red'if (row [ 'Set'] == 'Z') & (row [ 'Type'] == 'B') else 'green 'df.iterrows에서의 인덱스, 행 ()] 대
cheekybastard

1
이 좋은 솔루션을 참고하지 않습니다 작업 당신과 같은 데이터 프레임의 다른 시리즈에서 대체 값을해야하는 경우df['color_type'] = np.where(df['Set']=='Z', 'green', df['Type'])
폴 Rougieux

@cheekybastard 아니면 .iterrows()악명 높지 않기 때문에 반복하지 않는 동안 DataFrame을 수정해서는 안됩니다.
AMC

21

이것이 달성 될 수있는 또 다른 방법은

df['color'] = df.Set.map( lambda x: 'red' if x == 'Z' else 'green')

좋은 접근 방식은 더 빠른 효율을 위해 (더 큰 데이터 세트에서) 메모리 화 될 수 있지만 추가 단계가 필요합니다.
Yaakov Bressler

21

다음은 사전을 사용하여 목록의 키에 새 값을 매핑하는이 고양이를 스키닝하는 또 다른 방법입니다.

def map_values(row, values_dict):
    return values_dict[row]

values_dict = {'A': 1, 'B': 2, 'C': 3, 'D': 4}

df = pd.DataFrame({'INDICATOR': ['A', 'B', 'C', 'D'], 'VALUE': [10, 9, 8, 7]})

df['NEW_VALUE'] = df['INDICATOR'].apply(map_values, args = (values_dict,))

그것은 어떻게 생겼습니까?

df
Out[2]: 
  INDICATOR  VALUE  NEW_VALUE
0         A     10          1
1         B      9          2
2         C      8          3
3         D      7          4

이 접근법은 여러 ifelse유형의 명령문을 만들 때 (즉, 대체 할 고유 값 이 많을 때) 매우 강력 할 수 있습니다 .

그리고 물론 당신은 항상 이것을 할 수 있습니다 :

df['NEW_VALUE'] = df['INDICATOR'].map(values_dict)

그러나 그 접근 방식은 apply내 컴퓨터에서 위 의 접근 방식 보다 3 배 이상 느립니다 .

그리고 당신은 또한 이것을 사용하여 이것을 할 수 있습니다 dict.get:

df['NEW_VALUE'] = [values_dict.get(v, None) for v in df['INDICATOR']]

이 답변은 여러 값을 대체하는 방법을 보여
주므로이 답변이 마음에 듭니다.

그러나 그 접근 방식은 내 컴퓨터에서 위의 적용 방식보다 3 배 이상 느립니다. 이것들을 어떻게 벤치마킹 했습니까? 빠른 측정에서 .map()솔루션은 ~보다 10 배 빠릅니다 .apply().
AMC

업데이트 : 100,000,000 개의 행에서 52 개의 문자열 값 .apply()은 47 초가 걸리고 단 5.91 초가 소요됩니다 .map().
AMC

19

다음은 여기 에 시간이 지정된 접근 방식보다 느리지 만 둘 이상의 열의 내용을 기반으로 추가 열을 계산할 수 있으며 추가 열에 대해 두 개 이상의 값을 계산할 수 있습니다.

"Set"열만 사용하는 간단한 예 :

def set_color(row):
    if row["Set"] == "Z":
        return "red"
    else:
        return "green"

df = df.assign(color=df.apply(set_color, axis=1))

print(df)
  Set Type  color
0   Z    A    red
1   Z    B    red
2   X    B  green
3   Y    C  green

더 많은 색상과 더 많은 열을 고려한 예 :

def set_color(row):
    if row["Set"] == "Z":
        return "red"
    elif row["Type"] == "C":
        return "blue"
    else:
        return "green"

df = df.assign(color=df.apply(set_color, axis=1))

print(df)
  Set Type  color
0   Z    A    red
1   Z    B    red
2   X    B  green
3   Y    C   blue

편집 (21/06/2019) : plydata 사용

사용하는 것도 가능합니다 plydata을 (이 경우에도 느린 사용하는 것보다 보이는 사물의 종류를 수행 assign하고 apply있지만).

from plydata import define, if_else

단순 if_else:

df = define(df, color=if_else('Set=="Z"', '"red"', '"green"'))

print(df)
  Set Type  color
0   Z    A    red
1   Z    B    red
2   X    B  green
3   Y    C  green

중첩 if_else:

df = define(df, color=if_else(
    'Set=="Z"',
    '"red"',
    if_else('Type=="C"', '"green"', '"blue"')))

print(df)                            
  Set Type  color
0   Z    A    red
1   Z    B    red
2   X    B   blue
3   Y    C  green

10

어쩌면 이것은 팬더의 최신 업데이트로 가능했을 수도 있지만 지금까지 다음 질문이 가장 짧고 아마도 가장 좋은 대답이라고 생각합니다. .loc방법을 사용하고 필요에 따라 하나 이상의 조건을 사용할 수 있습니다 .

코드 요약 :

df=pd.DataFrame(dict(Type='A B B C'.split(), Set='Z Z X Y'.split()))
df['Color'] = "red"
df.loc[(df['Set']=="Z"), 'Color'] = "green"

#practice!
df.loc[(df['Set']=="Z")&(df['Type']=="B")|(df['Type']=="C"), 'Color'] = "purple"

설명:

df=pd.DataFrame(dict(Type='A B B C'.split(), Set='Z Z X Y'.split()))

# df so far: 
  Type Set  
0    A   Z 
1    B   Z 
2    B   X 
3    C   Y

'컬러'열을 추가하고 모든 값을 "빨간색"으로 설정

df['Color'] = "red"

단일 조건을 적용하십시오.

df.loc[(df['Set']=="Z"), 'Color'] = "green"


# df: 
  Type Set  Color
0    A   Z  green
1    B   Z  green
2    B   X    red
3    C   Y    red

원하는 경우 여러 조건 :

df.loc[(df['Set']=="Z")&(df['Type']=="B")|(df['Type']=="C"), 'Color'] = "purple"

Pandas 논리 연산자와 조건부 선택에 대한 내용은 다음을 참조하십시오. Pandas의 부울 인덱싱을위한 논리 연산자


2
지금까지 최고입니다. 당신은 코드가 될 것입니다 더 많은 조건을 추가 할 수 있습니다df.loc[(df['Set']=="Z") & (df['Type']=="A"), 'Color'] = "green"
Salvador Vigo

2
이것은 정답입니다. 실제로 관용적이고 확장 가능합니다.
AMC

1

.apply()방법이있는 하나의 라이너 는 다음과 같습니다.

df['color'] = df['Set'].apply(lambda set_: 'green' if set_=='Z' else 'red')

그 후 df데이터 프레임은 다음과 같습니다.

>>> print(df)
  Type Set  color
0    A   Z  green
1    B   Z  green
2    B   X    red
3    C   Y    red

0

방대한 데이터로 작업하는 경우 메모 된 접근 방식이 가장 좋습니다.

# First create a dictionary of manually stored values
color_dict = {'Z':'red'}

# Second, build a dictionary of "other" values
color_dict_other = {x:'green' for x in df['Set'].unique() if x not in color_dict.keys()}

# Next, merge the two
color_dict.update(color_dict_other)

# Finally, map it to your column
df['color'] = df['Set'].map(color_dict)

이 방법은 반복되는 값이 많은 경우 가장 빠릅니다. 나의 일반적인 경험 법칙은 다음 과 같은 경우를 기억하는 것입니다 : data_size> 10**4& n_distinct<data_size/4

Ex 2,500 이하의 고유 값을 가진 10,000 개의 행에 메모합니다.


그렇기 때문에 매핑 할 두 개의 고유 한 값, 100,000,000 개의 행만 있으면 "메모리"없이 실행하는 데 6.67 초, 9.86 초가 걸립니다.
AMC

100,000,000 개의 행, 52 개의 고유 값, 그 중 1 개가 첫 번째 출력 값에 매핑되고 다른 51 개는 모두 다른 하나에 해당합니다. 메모없이 7.99 초, 11.1 초입니다.
AMC

임의의 순서로 값이 있습니까? 아니면 계속해서 돌아가나요? 팬더의 빠른 속도는 @AMC 캐싱으로 인한 것일 수 있습니다
Yaakov Bressler

1
임의의 순서로 값이 있습니까? 아니면 계속해서 돌아가나요? 값은 무작위이며을 사용하여 선택됩니다 random.choices().
AMC
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.