`ValueError : 중복 축에서 다시 색인을 생성 할 수 없습니다 '는 무엇을 의미합니까?

254

나는 무엇입니까 ValueError: cannot reindex from a duplicate axis내가 특정 값에 인덱스를 설정하려고 할 때. 간단한 예제로 이것을 재현하려고 시도했지만 할 수 없었습니다.

여기 내 세션이 ipdb추적됩니다. 문자열 인덱스 및 정수 열, 부동 소수점 값이있는 DataFrame이 있습니다. 그러나 sum모든 열의 합계에 대한 색인 을 만들려고하면 ValueError: cannot reindex from a duplicate axis오류 가 발생합니다. 동일한 특성을 가진 작은 DataFrame을 만들었지 만 문제를 재현 할 수 없었습니다. 무엇을 놓칠 수 있습니까?

나는 무슨 ValueError: cannot reindex from a duplicate axis뜻인지 이해 하지 못합니다.이 오류 메시지는 무엇을 의미합니까? 어쩌면 이것이 문제 진단에 도움이 될 것입니다. 이것은 내 질문의 가장 대답하기 쉬운 부분입니다.

ipdb> type(affinity_matrix)
<class 'pandas.core.frame.DataFrame'>
ipdb> affinity_matrix.shape
(333, 10)
ipdb> affinity_matrix.columns
Int64Index([9315684, 9315597, 9316591, 9320520, 9321163, 9320615, 9321187, 9319487, 9319467, 9320484], dtype='int64')
ipdb> affinity_matrix.index
Index([u'001', u'002', u'003', u'004', u'005', u'008', u'009', u'010', u'011', u'014', u'015', u'016', u'018', u'020', u'021', u'022', u'024', u'025', u'026', u'027', u'028', u'029', u'030', u'032', u'033', u'034', u'035', u'036', u'039', u'040', u'041', u'042', u'043', u'044', u'045', u'047', u'047', u'048', u'050', u'053', u'054', u'055', u'056', u'057', u'058', u'059', u'060', u'061', u'062', u'063', u'065', u'067', u'068', u'069', u'070', u'071', u'072', u'073', u'074', u'075', u'076', u'077', u'078', u'080', u'082', u'083', u'084', u'085', u'086', u'089', u'090', u'091', u'092', u'093', u'094', u'095', u'096', u'097', u'098', u'100', u'101', u'103', u'104', u'105', u'106', u'107', u'108', u'109', u'110', u'111', u'112', u'113', u'114', u'115', u'116', u'117', u'118', u'119', u'121', u'122', ...], dtype='object')

ipdb> affinity_matrix.values.dtype
dtype('float64')
ipdb> 'sums' in affinity_matrix.index
False

오류는 다음과 같습니다.

ipdb> affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0)
*** ValueError: cannot reindex from a duplicate axis

간단한 예제로 이것을 재현하려고 시도했지만 실패했습니다.

In [32]: import pandas as pd

In [33]: import numpy as np

In [34]: a = np.arange(35).reshape(5,7)

In [35]: df = pd.DataFrame(a, ['x', 'y', 'u', 'z', 'w'], range(10, 17))

In [36]: df.values.dtype
Out[36]: dtype('int64')

In [37]: df.loc['sums'] = df.sum(axis=0)

In [38]: df
Out[38]: 
      10  11  12  13  14  15   16
x      0   1   2   3   4   5    6
y      7   8   9  10  11  12   13
u     14  15  16  17  18  19   20
z     21  22  23  24  25  26   27
w     28  29  30  31  32  33   34
sums  70  75  80  85  90  95  100
python  pandas 
— 아 카발
소스
1
선호도 행렬의 실제 열 이름을 난독화할 가능성이 있습니까? (예 : 민감한 정보를 숨기기 위해 실제 값을 다른 것으로 대체)
— Korem
@ Korem, 나는 이것이 사실이라고 생각하지 않지만 이것이 사실이라고해도 왜 위의 오류가 발생합니까?
— Akavall
2
일반적으로 할당 된 인덱스에 중복 값이있을 때 이것을 알 수 있습니다. 귀하의 경우 행을 할당하기 때문에 열 이름에 중복이 예상됩니다. 그래서 내가 물었다.
— Korem
@Korem, 실제로 내 실제 데이터에는 중복 인덱스 값이 있었고 중복 인덱스 값이 존재했을 때 작은 예에서 오류를 재현 할 수있었습니다. 당신은 내 질문에 완전히 대답했습니다. 감사합니다. 답으로 하시겠습니까?
— Akavall

답변:

170

이 오류는 일반적으로 인덱스에 중복 값이있는 경우 열에 조인 / 할당 할 때 발생합니다. 행에 할당 중이므로 affinity_matrix.columns의 질문에 표시되지 않은에 중복 값이있는 것 같습니다.

— 코렘
소스
20
더 정확하게 말하자면, 내 경우에는 중복 값이에 affinity_matrix.index있지만 이것이 동일한 개념이라고 생각합니다.
— Akavall
24
나중에이 와서 사람들을 위해 index수단 모두 row와 column names행 인덱스 20 분을 보냈다 그러나 나는이 오류가 발생하는 중복 된 열 이름을 가지고 밝혀졌다.
— Jason Goal
이것에 추가하기 위해 열 목록에서 데이터 프레임을 다시 인덱싱하려고 할 때이 오류가 발생했습니다. 이상하게도 내 복제본이 원래 데이터 프레임에 있었으므로 두 가지를 모두 확인하십시오!
— m8_
163

다른 사람들이 말했듯이 원래 색인에 중복 값이있을 수 있습니다. 그들이 이것을 찾으려면 :

df[df.index.duplicated()]

— 매튜
소스
39
중복 인덱스가있는 행을 제거하려면 다음을 사용하십시오.df = df[~df.index.duplicated()]
— tuomastik
4
들어 DatetimeIndex에드 dataframes, 당신은 할 수 resample원하는 주파수에 한 다음 가지고 .first(), .mean()등
— BallpointBen
28

다른 DataFrame을 연결하여 DataFrame을 만들면 중복 값이있는 인덱스가 종종 발생합니다. 데이터를 연결할 때 인덱스 값을 보존하지 않고 고유 한 값이되도록하려면을 설정하십시오 ignore_index=True.

또는을 사용하는 대신 현재 색인을 새 색인으로 덮어 쓰려면 다음을 df.reindex()설정하십시오.

df.index = new_index
— 레베 쿠
소스
8
코드가 연결된 데이터 프레임에서 작동하도록 ignore_index = True를 사용했습니다.
— Gabi Lee
실제로 ignore_index=False기본값입니다. 옵션을 사용하여 append동작을 전혀 변경하지 않는 경우 옵션 을로 설정했기 때문 True입니다.
— Jeffrey Benjamin Brown
17

이 오류로 여전히 어려움을 겪고있는 사람들의 경우 실수로 같은 이름의 중복 열을 만들면 발생할 수 있습니다. 다음과 같이 중복 열을 제거하십시오.

df = df.loc[:,~df.columns.duplicated()]
— 파 셀톤
소스
12

.values마지막에 사용하는 오류를 건너 뛰기 만하면 됩니다.

affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0).values
— 하 디즈
소스
이것이 바로 내가 필요한 것입니다! 새 열을 만들려고했지만 중복 된 색인이 있습니다. 사용 .values하는 트릭
— Paul Wildenhain
8

오늘이 같은 새 열을 추가하려고 할 때이 오류가 발생했습니다.

df_temp['REMARK_TYPE'] = df.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

1 또는 0을 반환하기 위해 REMARK열 을 처리하고 싶었지만로 df_temp잘못된 변수를 입력했습니다 df. 그리고 다음과 같은 오류를 반환했습니다.

----> 1 df_temp['REMARK_TYPE'] = df.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in __setitem__(self, key, value)
   2417         else:
   2418             # set column
-> 2419             self._set_item(key, value)
   2420 
   2421     def _setitem_slice(self, key, value):

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in _set_item(self, key, value)
   2483 
   2484         self._ensure_valid_index(value)
-> 2485         value = self._sanitize_column(key, value)
   2486         NDFrame._set_item(self, key, value)
   2487 

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in _sanitize_column(self, key, value, broadcast)
   2633 
   2634         if isinstance(value, Series):
-> 2635             value = reindexer(value)
   2636 
   2637         elif isinstance(value, DataFrame):

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in reindexer(value)
   2625                     # duplicate axis
   2626                     if not value.index.is_unique:
-> 2627                         raise e
   2628 
   2629                     # other

ValueError: cannot reindex from a duplicate axis

보시다시피 올바른 코드는

df_temp['REMARK_TYPE'] = df_temp.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

때문에 df와은 df_temp행의 다른 번호를 가지고있다. 그래서 돌아왔다 ValueError: cannot reindex from a duplicate axis.

당신이 그것을 이해할 수 있기를 바랍니다. 내 대답은 다른 사람들이 코드를 디버깅하는 데 도움이 될 수 있습니다.

— 가는 길
소스
4

필자의 경우이 값이 중복되지 않기 때문에 짧은 시리즈를 데이터 프레임에 결합하려고 시도했기 때문에이 오류가 발생했습니다. 둘 다 동일한 인덱스를 가지지 만 시리즈에는 적은 행이 있습니다 (상위 몇 개는 누락). 다음은 내 목적을 위해 작동했습니다.

df.head()
                          SensA
date                           
2018-04-03 13:54:47.274   -0.45
2018-04-03 13:55:46.484   -0.42
2018-04-03 13:56:56.235   -0.37
2018-04-03 13:57:57.207   -0.34
2018-04-03 13:59:34.636   -0.33

series.head()
date
2018-04-03 14:09:36.577    62.2
2018-04-03 14:10:28.138    63.5
2018-04-03 14:11:27.400    63.1
2018-04-03 14:12:39.623    62.6
2018-04-03 14:13:27.310    62.5
Name: SensA_rrT, dtype: float64

df = series.to_frame().combine_first(df)

df.head(10)
                          SensA  SensA_rrT
date                           
2018-04-03 13:54:47.274   -0.45        NaN
2018-04-03 13:55:46.484   -0.42        NaN
2018-04-03 13:56:56.235   -0.37        NaN
2018-04-03 13:57:57.207   -0.34        NaN
2018-04-03 13:59:34.636   -0.33        NaN
2018-04-03 14:00:34.565   -0.33        NaN
2018-04-03 14:01:19.994   -0.37        NaN
2018-04-03 14:02:29.636   -0.34        NaN
2018-04-03 14:03:31.599   -0.32        NaN
2018-04-03 14:04:30.779   -0.33        NaN
2018-04-03 14:05:31.733   -0.35        NaN
2018-04-03 14:06:33.290   -0.38        NaN
2018-04-03 14:07:37.459   -0.39        NaN
2018-04-03 14:08:36.361   -0.36        NaN
2018-04-03 14:09:36.577   -0.37       62.2
— 테 핑크
소스
감사합니다! 필자는 DataFrames 및 Series를 필터링하고 나중에 병합하는 데 익숙해졌습니다. df_larger_dataframe['values'] = df_filtered_dataframe['filtered_values'] 최근에 TimeSeries에서 작동하지 않았습니다. 코드가 해결했습니다!
— tw0000
2

같은 문제로 몇 시간을 낭비했습니다. 필자의 경우 apply 함수를 사용하기 전에 데이터 프레임의 reset_index () 를 재설정 해야했습니다 . 하나의 데이터 집합에 하나의 인덱스 만있을 수 있으므로 병합하거나 다른 인덱스 데이터 집합에서 조회하기 전에 인덱스를 재설정해야합니다.

— 리시자인
소스
2

나를 위해 일한 간단한 수정

df.reset_index(inplace=True)그룹화하기 전에 실행하십시오 .

솔루션에 대한 이 github 의견 에 감사드립니다 .

— 코너
소스
@Chris_vr은 데이터 프레임을 반환하려면 인플레 이스 파트를 제거합니다
— Connor
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.