dict를 사용하여 팬더 열의 값을 다시 매핑하십시오.


317

다음과 같은 사전이 있습니다. di = {1: "A", 2: "B"}

다음과 유사한 데이터 프레임의 "col1"열에 적용하고 싶습니다.

     col1   col2
0       w      a
1       1      2
2       2    NaN

얻을 :

     col1   col2
0       w      a
1       A      2
2       B    NaN

어떻게하면 가장 잘 할 수 있습니까? 어떤 이유로 든 이것에 관한 인터넷 검색 용어는 dicts에서 열을 만드는 방법에 대한 링크 만 보여줍니다.

답변:


340

사용할 수 있습니다 .replace. 예를 들면 다음과 같습니다.

>>> df = pd.DataFrame({'col2': {0: 'a', 1: 2, 2: np.nan}, 'col1': {0: 'w', 1: 1, 2: 2}})
>>> di = {1: "A", 2: "B"}
>>> df
  col1 col2
0    w    a
1    1    2
2    2  NaN
>>> df.replace({"col1": di})
  col1 col2
0    w    a
1    A    2
2    B  NaN

또는 직접 Series, 즉 df["col1"].replace(di, inplace=True).


1
col```` is tuple. The error info is 'ndarray (dtype = object)'와 'tuple'유형을 비교할 수없는 경우에는 작동하지 않습니다.
Pengju Zhao

18
이 더 이상 작동하지 않는 것 같습니다 전혀 대답 4 년 전이었다 주어진 놀라운 일이 아니다있는. 이 질문은 운영이 얼마나 일반적인 지에 대한 새로운 대답이 필요합니다.
PrestonH

2
@PrestonH 그것은 나를 위해 완벽하게 작동합니다. 실행 :'3.6.1 |Anaconda custom (64-bit)| (default, May 11 2017, 13:25:24) [MSC v.1900 64 bit (AMD64)]'

그것은 나를 위해 작동합니다. 그러나 모든 열의 값을 바꾸려면 어떻게해야합니까?
famargar

2
표시된 답변 중 나를 위해 일한 유일한 방법은 Series에서 직접 교체하는 것입니다. 감사!
Dirigo

242

map 보다 훨씬 빠를 수 있습니다 replace

사전에 두 개 이상의 키가있는 경우 사용하는 map것보다 훨씬 빠를 수 있습니다replace . 사전에서 가능한 모든 값을 철저하게 매핑하는지 여부와 일치하지 않는 값으로 값을 유지하거나 NaN으로 변환할지에 따라이 방법에는 두 가지 버전이 있습니다.

철저한 매핑

이 경우 형식은 매우 간단합니다.

df['col1'].map(di)       # note: if the dictionary does not exhaustively map all
                         # entries then non-matched entries are changed to NaNs

하지만 map대부분은 일반적으로 인수로서 기능을한다, 그것은 대안 사전이나 시리즈 걸릴 수 Pandas.series.map에 대한 설명서를

철저하지 않은 매핑

완전하지 않은 매핑이 있고 일치하지 않는 기존 변수를 유지하려는 경우 다음을 추가 할 수 있습니다 fillna.

df['col1'].map(di).fillna(df['col1'])

@ jpp의 대답과 같이 : 사전을 통해 팬더 시리즈의 값을 효율적으로 대체 하십시오.

벤치 마크

팬더 버전 0.23.1에서 다음 데이터 사용 :

di = {1: "A", 2: "B", 3: "C", 4: "D", 5: "E", 6: "F", 7: "G", 8: "H" }
df = pd.DataFrame({ 'col1': np.random.choice( range(1,9), 100000 ) })

로 테스트 했을 때보 다 약 10 배 빠른 것으로 %timeit보입니다 . mapreplace

속도 map는 데이터에 따라 다릅니다. 가장 빠른 속도 향상은 큰 사전과 철저한 교체로 나타납니다. 보다 광범위한 벤치 마크 및 토론은 @jpp answer (위 링크 됨)를 참조하십시오.


17
이 답변의 마지막 코드 블록은 확실히 가장 우아하지는 않지만이 답변에는 약간의 가치가 있습니다. 큰 사전의 경우 수십 배 빠르며 모든 RAM을 사용하지는 않습니다. 30 분 동안 약 9 백만 개의 항목이있는 사전을 사용하여 10,000 개의 라인 파일을 다시 매핑했습니다. df.replace함수 깔끔하고 작은 dicts 유용하면서, 20 분 정도 실행 한 후 분쇄.
griffinc


@griffinc 의견을 보내 주셔서 감사합니다. 그 이후로이 답변을 철저하지 않은 사례를 수행하는 훨씬 간단한 방법으로 업데이트했습니다 (@jpp 덕분에)
JohnE

1
mapreplace
Max Ghenis

1
@ AlexSB 나는 일반적인 대답을 줄 수는 없지만지도가 훨씬 빠르며 같은 것을 성취 할 것이라고 생각합니다. 일반적으로 병합은 동일한 작업을 수행하는 다른 옵션보다 느립니다.
JohnE

59

귀하의 질문에 약간의 모호성이 있습니다. 최소한 가지 해석이 있습니다.

  1. 키는 di인덱스 값 을 나타냅니다.
  2. 키는 값 을 di나타냅니다df['col1']
  3. 키는 di색인 위치를 나타냅니다 (OP의 질문은 아니지만 재미를 위해 던져졌습니다).

아래는 각 경우에 대한 솔루션입니다.


사례 1 :di가 인덱스 값을 의미하는 경우 다음 update방법을 사용할 수 있습니다 .

df['col1'].update(pd.Series(di))

예를 들어

import pandas as pd
import numpy as np

df = pd.DataFrame({'col1':['w', 10, 20],
                   'col2': ['a', 30, np.nan]},
                  index=[1,2,0])
#   col1 col2
# 1    w    a
# 2   10   30
# 0   20  NaN

di = {0: "A", 2: "B"}

# The value at the 0-index is mapped to 'A', the value at the 2-index is mapped to 'B'
df['col1'].update(pd.Series(di))
print(df)

수확량

  col1 col2
1    w    a
2    B   30
0    A  NaN

원래 게시물의 값을 수정하여 update수행중인 작업을 보다 명확하게했습니다 . 키 di가 색인 값과 어떻게 연관되어 있는지 확인하십시오 . 인덱스 값의 순서, 즉 인덱스 위치 는 중요하지 않습니다.


사례 2 :didf['col1']값을 나타내는 경우 @DanAllan 및 @DSM은 다음을 사용하여이를 달성하는 방법을 보여줍니다 replace.

import pandas as pd
import numpy as np

df = pd.DataFrame({'col1':['w', 10, 20],
                   'col2': ['a', 30, np.nan]},
                  index=[1,2,0])
print(df)
#   col1 col2
# 1    w    a
# 2   10   30
# 0   20  NaN

di = {10: "A", 20: "B"}

# The values 10 and 20 are replaced by 'A' and 'B'
df['col1'].replace(di, inplace=True)
print(df)

수확량

  col1 col2
1    w    a
2    A   30
0    B  NaN

이 경우 키에이 방법을 참고 di경기에 변경된 으로 df['col1'].


사례 3 :di가 색인 위치를 나타내는 경우

df['col1'].put(di.keys(), di.values())

이후

df = pd.DataFrame({'col1':['w', 10, 20],
                   'col2': ['a', 30, np.nan]},
                  index=[1,2,0])
di = {0: "A", 2: "B"}

# The values at the 0 and 2 index locations are replaced by 'A' and 'B'
df['col1'].put(di.keys(), di.values())
print(df)

수확량

  col1 col2
1    A    a
2   10   30
0    B  NaN

열쇠로 인해 여기서, 첫 번째와 세 번째 행은, 변경 한 di있다 02파이썬의 0 기반 인덱스로 첫 번째와 세 번째 위치를 참조한다.


replace똑같이 좋고 아마도 여기서 일어나고있는 것에 대한 더 나은 단어 일 것입니다.
Dan Allan

OP의 게시 된 대상 데이터 프레임이 모호성을 제거하지 않습니까? 여전히이 답변은 유용하므로 +1입니다.
DSM

@ DSM : 죄송합니다. Case3의 가능성은 없지만 색인 값이 열 값과 같기 때문에 OP의 대상 데이터 프레임이 Case1과 Case2를 구별하지 않는다고 생각합니다.
unutbu

다른 많은 사람들이 게시 한 것처럼 @DSM의 방법은 불행히도 효과가 없었지만 @unutbu의 사례 1은 효과가있었습니다. update()에 비해 약간 어색한 것처럼 보이지만 replace()적어도 작동합니다.
Geoff

4

데이터 데이터 프레임에서 다시 매핑 할 열이 두 개 이상인 경우이 질문에 추가하십시오.

def remap(data,dict_labels):
    """
    This function take in a dictionnary of labels : dict_labels 
    and replace the values (previously labelencode) into the string.

    ex: dict_labels = {{'col1':{1:'A',2:'B'}}

    """
    for field,values in dict_labels.items():
        print("I am remapping %s"%field)
        data.replace({field:values},inplace=True)
    print("DONE")

    return data

누군가에게 유용 할 수 있기를 바랍니다.

건배


1
이 기능은 DataFrame.replace()언제 추가되었는지는 모르지만 이미에서 제공하고 있습니다.
AMC

3

DSM에 허용되는 답변이 있지만 코딩이 모든 사람에게 적합한 것은 아닙니다. 다음은 현재 버전의 팬더 (2018 년 8 월 현재 0.23.4)에서 작동하는 것입니다.

import pandas as pd

df = pd.DataFrame({'col1': [1, 2, 2, 3, 1],
            'col2': ['negative', 'positive', 'neutral', 'neutral', 'positive']})

conversion_dict = {'negative': -1, 'neutral': 0, 'positive': 1}
df['converted_column'] = df['col2'].replace(conversion_dict)

print(df.head())

다음과 같이 보일 것입니다 :

   col1      col2  converted_column
0     1  negative                -1
1     2  positive                 1
2     2   neutral                 0
3     3   neutral                 0
4     1  positive                 1

pandas.DataFrame.replace 문서 는 여기에 있습니다 .


나는 DSM의 대답을 얻는 데 아무런 문제가 없었으며 대부분의 다른 사람들이하지 않은 총 투표 수를 감안할 때 추측합니다. 발생한 문제에 대해보다 구체적으로 설명 할 수 있습니다. 어쩌면 DSM과 다른 샘플 데이터와 관련이 있습니까?
JohnE

흠, 아마도 버전 문제 일 것입니다. 그럼에도 불구하고 두 가지 답변이 모두 여기에 있습니다.
wordsforthewise

1
허용 된 답변의 솔루션은 특정 유형에서만 작동하며 Series.map()보다 유연 해 보입니다.
AMC

2

또는 수행 apply:

df['col1'].apply(lambda x: {1: "A", 2: "B"}.get(x,x))

데모:

>>> df['col1']=df['col1'].apply(lambda x: {1: "A", 2: "B"}.get(x,x))
>>> df
  col1 col2
0    w    a
1    1    2
2    2  NaN
>>> 

당신의 di받아쓰기가 목록 의 받아쓰기이면 어떻게 되나요? 목록에서 하나의 값만 어떻게 매핑 할 수 있습니까?
FaCoffee

왜 그런지 모르겠지만
AMC

2

주어는 map당신이주의해야 (JohnE의 솔루션 @) 교체보다 빠른 당신이 특정 값을 매핑하려는 비 철저한 매핑으로NaN . 이 경우 올바른 방법을 사용 mask하려면 Series를 사용해야 .fillna하고 그렇지 않으면에 대한 매핑을 취소해야합니다 NaN.

import pandas as pd
import numpy as np

d = {'m': 'Male', 'f': 'Female', 'missing': np.NaN}
df = pd.DataFrame({'gender': ['m', 'f', 'missing', 'Male', 'U']})

keep_nan = [k for k,v in d.items() if pd.isnull(v)]
s = df['gender']

df['mapped'] = s.map(d).fillna(s.mask(s.isin(keep_nan)))

    gender  mapped
0        m    Male
1        f  Female
2  missing     NaN
3     Male    Male
4        U       U

1

클래스 레이블 맵을 유지하는 훌륭한 완벽한 솔루션 :

labels = features['col1'].unique()
labels_dict = dict(zip(labels, range(len(labels))))
features = features.replace({"col1": labels_dict})

이런 식으로, 당신은 언제든지 labels_dict에서 원래 클래스 레이블을 참조 할 수 있습니다.


1

Nico Coallier (여러 열에 적용) 및 U10-Forward (적용 스타일 메서드 사용)에서 제안한 내용을 확장하고 하나의 라이너로 요약하면 다음과 같습니다.

df.loc[:,['col1','col2']].transform(lambda x: x.map(lambda x: {1: "A", 2: "B"}.get(x,x))

.transform()일련의 각 컬럼을 처리한다. 반대로 .apply()DataFrame에서 집계 된 열을 전달합니다.

따라서 Series 방법을 적용 할 수 있습니다 map().

마지막으로 U10 덕분 에이 동작을 발견했으며 .get () 표현식에서 전체 Series를 사용할 수 있습니다. 내가 그 동작을 오해하지 않는 한 비트 단위가 아닌 순차적으로 시리즈를 처리합니다. 값에 대한 계정 당신은에 의해 다른 할머니로 간주 될 것이다 당신의 매핑 사전에 언급하지 않았다 방법
.get(x,x).map()


.transform()일련의 각 컬럼을 처리한다. 반대로 .apply()DataFrame에서 집계 된 열을 전달합니다. 방금 시도했지만 apply()정상적으로 작동합니다. loc어느 것도 사용할 필요가 없습니다 . 지나치게 복잡해 보입니다. df[["col1", "col2"]].apply(lambda col: col.map(lambda elem: my_dict.get(elem, elem)))잘 작동합니다. 계정은 값을 당신은에 의해 다른 할머니로 간주 될 것이다 당신의 매핑 사전에 언급하지 않았다 방법 또한 사용할 수 있습니다 후. .get(x,x).map()fillna()
AMC

마지막으로 U10 덕분 에이 동작을 발견했으며 .get () 표현식에서 전체 Series를 사용할 수 있습니다. 내가 그 동작을 오해하지 않는 한 비트 단위가 아닌 순차적으로 시리즈를 처리합니다. 나는 이것을 재현 할 수 없다, 당신은 정교한 수 있습니까? 동일한 이름의 변수가 여기서 중요한 역할을합니다.
AMC

0

보다 기본적인 팬더 접근법은 다음과 같이 바꾸기 기능을 적용하는 것입니다.

def multiple_replace(dict, text):
  # Create a regular expression  from the dictionary keys
  regex = re.compile("(%s)" % "|".join(map(re.escape, dict.keys())))

  # For each match, look-up corresponding value in dictionary
  return regex.sub(lambda mo: dict[mo.string[mo.start():mo.end()]], text) 

함수를 정의한 후에는 데이터 프레임에 적용 할 수 있습니다.

di = {1: "A", 2: "B"}
df['col1'] = df.apply(lambda row: multiple_replace(di, row['col1']), axis=1)

보다 기본적인 팬더 접근법은 다음과 같이 바꾸기 기능을 적용하는 것입니다. Pandas가 제공하는 훨씬 간단한 방법보다 더 "네이티브"(아이디 오 매틱)입니까?
AMC
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.