이름이 지정된 열과 행이 연속적이지 않은 다음과 같은 인덱스 DataFrame이 있습니다.
a b c d
2 0.671399 0.101208 -0.181532 0.241273
3 0.446172 -0.243316 0.051767 1.577318
5 0.614758 0.075793 -0.451460 -0.012493'e'기존 데이터 프레임에 새 열을 추가하고 데이터 프레임에서 아무것도 변경하지 않으려 고합니다 (예 : 새 열의 길이는 항상 DataFrame과 동일 함).
0 -0.335485
1 -1.166658
2 -0.385571
dtype: float64e위 예제에 열 을 어떻게 추가 할 수 있습니까?
답변:
원래 df1 색인을 사용하여 시리즈를 작성하십시오.
df1['e'] = pd.Series(np.random.randn(sLength), index=df1.index)2015 편집
일부는 SettingWithCopyWarning이 코드를 사용 한다고보고했습니다 .
그러나 코드는 여전히 현재 팬더 버전 0.16.1에서 완벽하게 실행됩니다.
>>> sLength = len(df1['a'])
>>> df1
a b c d
6 -0.269221 -0.026476 0.997517 1.294385
8 0.917438 0.847941 0.034235 -0.448948
>>> df1['e'] = pd.Series(np.random.randn(sLength), index=df1.index)
>>> df1
a b c d e
6 -0.269221 -0.026476 0.997517 1.294385 1.757167
8 0.917438 0.847941 0.034235 -0.448948 2.228131
>>> p.version.short_version
'0.16.1'SettingWithCopyWarning목표는 Dataframe의 복사본을 가능성이 잘못된 할당의 통보합니다. 그것은 반드시 당신이 잘못했다고 말하지는 않지만 (거짓 긍정을 유발할 수 있음) 0.13.0에서 같은 목적에 더 적합한 방법이 있음을 알려줍니다. 그런 다음 경고가 표시되면 조언을 따르십시오. 대신 .loc [row_index, col_indexer] = value
>>> df1.loc[:,'f'] = pd.Series(np.random.randn(sLength), index=df1.index)
>>> df1
a b c d e f
6 -0.269221 -0.026476 0.997517 1.294385 1.757167 -0.050927
8 0.917438 0.847941 0.034235 -0.448948 2.228131 0.006109
>>> 실제로 이것은 팬더 문서에 설명 된 것처럼 현재보다 효율적인 방법입니다.
2017 년 편집
주석과 @Alexander에 표시된 것처럼 현재 Series의 값을 DataFrame의 새 열로 추가하는 가장 좋은 방법은 다음을 사용할 수 있습니다 assign.
df1 = df1.assign(e=pd.Series(np.random.randn(sLength)).values)SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame. Try using .loc[row_index,col_indexer] = value instead
kwargs과 같이 사전을 풀 수 있습니다 .df1 = df1.assign(**{'e': p.Series(np.random.randn(sLength)).values})
새 열을 추가하는 간단한 방법입니다. df['e'] = e
e( Series(np.random.randn(sLength)))은 인덱스 된 Series 0-n을 생성합니다. 이것을 df1에 할당하면 NaN 셀이 생깁니다.
my_dataframe = pd.DataFrame(columns=('foo', 'bar')). 편집 되돌리기
기존 데이터 프레임에 새 열 'e'를 추가하고 데이터 프레임에서 아무것도 변경하지 않습니다. 시리즈는 항상 데이터 프레임과 길이가 같습니다.
인덱스 값이의 값과 e일치 한다고 가정합니다 df1.
이라는 새 열을 시작하고 e계열의 값을 지정 하는 가장 쉬운 방법은 다음 과 e같습니다.
df['e'] = e.values할당 (팬더 0.16.0+)
Pandas 0.16.0부터는을 사용하여 assign새 열을 DataFrame에 할당하고 새 열뿐만 아니라 모든 원래 열이 포함 된 새 개체 (사본)를 반환 할 수도 있습니다.
df1 = df1.assign(e=e.values)당 이 예 (도의 소스 코드를 포함하는 assign기능)은 또한 하나 개 이상의 열을 포함 할 수있다 :
df = pd.DataFrame({'a': [1, 2], 'b': [3, 4]})
>>> df.assign(mean_a=df.a.mean(), mean_b=df.b.mean())
a b mean_a mean_b
0 1 3 1.5 3.5
1 2 4 1.5 3.5귀하의 예와 관련하여 :
np.random.seed(0)
df1 = pd.DataFrame(np.random.randn(10, 4), columns=['a', 'b', 'c', 'd'])
mask = df1.applymap(lambda x: x <-0.7)
df1 = df1[-mask.any(axis=1)]
sLength = len(df1['a'])
e = pd.Series(np.random.randn(sLength))
>>> df1
a b c d
0 1.764052 0.400157 0.978738 2.240893
2 -0.103219 0.410599 0.144044 1.454274
3 0.761038 0.121675 0.443863 0.333674
7 1.532779 1.469359 0.154947 0.378163
9 1.230291 1.202380 -0.387327 -0.302303
>>> e
0 -1.048553
1 -1.420018
2 -1.706270
3 1.950775
4 -0.509652
dtype: float64
df1 = df1.assign(e=e.values)
>>> df1
a b c d e
0 1.764052 0.400157 0.978738 2.240893 -1.048553
2 -0.103219 0.410599 0.144044 1.454274 -1.420018
3 0.761038 0.121675 0.443863 0.333674 -1.706270
7 1.532779 1.469359 0.154947 0.378163 1.950775
9 1.230291 1.202380 -0.387327 -0.302303 -0.509652df['e'] = e.values)은 데이터 프레임의 복사본을 만들지 않는 반면 두 번째 옵션 (을 사용하는 df.assign)은 그렇지 않다는 것을 고려할 때 두 방법의 상대적 성능에 대한 의견 이 있습니까? 많은 새로운 열이 순차적으로 추가되고 큰 데이터 프레임이있는 경우 첫 번째 방법의 성능이 훨씬 향상 될 것으로 기대합니다.
assign작업을 함께 연결할 때입니다.
df.assign(**df.mean().add_prefix('mean_'))
df_new = pd.concat([df1, df2], axis=1)이라는 것을 사용하십시오 ignore_index=False.
NumPy 를 통해이를 직접 수행하는 것이 가장 효율적입니다.
df1['e'] = np.random.randn(sLength)내 원래 (매우 오래된) 제안 map은 훨씬 느리게 사용 하는 것입니다.
df1['e'] = df1['a'].map(lambda x: np.random.random()).map대신 기존 시리즈를 사용하도록 코드를 수정할 수 lambda있습니까? 나는 시도 df1['e'] = df1['a'].map(lambda x: e)또는 df1['e'] = df1['a'].map(e)하지만 내가 필요가 무엇인지. (나는
e다음 시리즈로는 사용하지 않아도 map사용 df['e']=e(@joaquins 응답을).
팬더 데이터 프레임은 순서가 지정된 열의 dict으로 구현됩니다.
이것은 __getitem__ []특정 열을 얻는 데 사용할 수있을뿐만 아니라__setitem__ [] = 데 사용될 수있을 새 열을 할당하는 데 사용될 수 있음을 의미합니다.
예를 들어,이 데이터 프레임에는 단순히 다음을 사용하여 열을 추가 할 수 있습니다. [] 접근
size name color
0 big rose red
1 small violet blue
2 small tulip red
3 small harebell blue
df['protected'] = ['no', 'no', 'no', 'yes']
size name color protected
0 big rose red no
1 small violet blue no
2 small tulip red no
3 small harebell blue yes데이터 프레임의 인덱스가 꺼져 있어도 작동합니다.
df.index = [3,2,1,0]
df['protected'] = ['no', 'no', 'no', 'yes']
size name color protected
3 big rose red no
2 small violet blue no
1 small tulip red no
0 small harebell blue yes그러나 pd.Seriesa가 있고 인덱스가 꺼져있는 데이터 프레임에 할당하려고하면 문제가 발생합니다. 예를보십시오 :
df['protected'] = pd.Series(['no', 'no', 'no', 'yes'])
size name color protected
3 big rose red yes
2 small violet blue no
1 small tulip red no
0 small harebell blue nopd.Series기본적으로 a 의 인덱스는 0에서 n까지 이기 때문 입니다. 그리고 팬더 [] =방법의 시도가 될 "스마트"
[] =방법 을 사용할 때 pandas는 왼쪽 데이터 프레임의 인덱스와 오른쪽 시리즈의 인덱스를 사용하여 외부 조인 또는 외부 병합을 조용히 수행합니다.df['column'] = series
이 []=방법은 입력에 따라 많은 다른 일을 시도하고 있기 때문에 팬더가 어떻게 작동하는지 알지 않는 한 결과를 예측할 수 없기 때문에인지 부조화가 빠르게 발생 합니다. 따라서 []=코드 기반 에 대한 조언을 하지만 노트북에서 데이터를 탐색 할 때 좋습니다.
a가 pd.Series있고 위에서 아래로 할당되기를 원하거나 생산 코드를 코딩하고 색인 순서가 확실하지 않은 경우 이러한 종류의 문제를 보호하는 것이 좋습니다.
pd.Series를 a np.ndarray또는 a로 다운 캐스트 할 수 list있습니다.
df['protected'] = pd.Series(['no', 'no', 'no', 'yes']).values또는
df['protected'] = list(pd.Series(['no', 'no', 'no', 'yes']))그러나 이것은 분명하지 않습니다.
일부 코더가 와서 "이것은 중복 된 것 같습니다. 이것을 최적화하겠습니다"라고 말합니다.
의 인덱스 설정 pd.Series의 인덱스가있을 수 있습니다 df명시 적입니다.
df['protected'] = pd.Series(['no', 'no', 'no', 'yes'], index=df.index)또는 더 현실적으로, 당신은 아마 pd.Series이미 사용할 수 있습니다.
protected_series = pd.Series(['no', 'no', 'no', 'yes'])
protected_series.index = df.index
3 no
2 no
1 no
0 yes이제 할당 가능
df['protected'] = protected_series
size name color protected
3 big rose red no
2 small violet blue no
1 small tulip red no
0 small harebell blue yesdf.reset_index()인덱스 불협화음이 문제이기 때문에 데이터 프레임의 인덱스가 내용을 지시 해서는 안된다고 생각하면 인덱스를 삭제하면 더 빠를 수 있지만 함수는 아마도 두 가지 일을 하기 때문에 매우 깨끗 하지 않습니다.
df.reset_index(drop=True)
protected_series.reset_index(drop=True)
df['protected'] = protected_series
size name color protected
0 big rose red no
1 small violet blue no
2 small tulip red no
3 small harebell blue yesdf.assign동안 df.assign메이크업은, 실제로는 상기와 모두 같은 문제를 당신이 무엇을하고 있는지 더 명시가 그것을[]=
df.assign(protected=pd.Series(['no', 'no', 'no', 'yes']))
size name color protected
3 big rose red yes
2 small violet blue no
1 small tulip red no
0 small harebell blue nodf.assign당신의 칼럼이 호출되지 않는 것을 조심 하십시오 self. 오류가 발생합니다. 함수에 이러한 종류의 인공물 이 있기 때문에 df.assign 냄새 가납니다.
df.assign(self=pd.Series(['no', 'no', 'no', 'yes'])
TypeError: assign() got multiple values for keyword argument 'self'당신은 "글쎄, 나는 self그때 사용하지 않을 것이다"라고 말할 수 있습니다 . 그러나 누가 새로운 기능을 지원하기 위해이 기능이 미래에 어떻게 변화하는지 알고 있습니다. 새 팬더 업데이트에서 열 이름이 인수가되어 업그레이드 문제가 발생할 수 있습니다.
[] =외부 조인 또는 외부 병합을 자동으로 수행합니다 ." 이것은 전체 주제에서 가장 중요한 정보입니다. 그러나 []=운영자의 작동 방식 에 대한 공식 문서에 대한 링크를 제공 할 수 있습니까?
가장 쉬운 방법 :-
data['new_col'] = list_of_values
data.loc[ : , 'new_col'] = list_of_values이렇게하면 팬더 객체에서 새 값을 설정할 때 체인 인덱싱이라는 것을 피할 수 있습니다. 자세한 내용을 보려면 여기를 클릭하십시오 .
완전히 새로운 열을 초기 기본 값 (예 :)으로 설정하려면 None다음을 수행하십시오.df1['e'] = None
이것은 실제로 "객체"유형을 셀에 할당합니다. 따라서 나중에 목록과 같은 복잡한 데이터 유형을 개별 셀에 자유롭게 넣을 수 있습니다.
나는 SettingWithCopyWarningdreaded을 얻었고 iloc 구문을 사용하여 수정되지 않았습니다. 내 DataFrame은 ODBC 소스에서 read_sql로 작성되었습니다. 위의 lowtech의 제안을 사용하여 다음이 저에게 효과적이었습니다.
df.insert(len(df.columns), 'e', pd.Series(np.random.randn(sLength), index=df.index))이것은 끝에 열을 삽입하는 데 효과적이었습니다. 그것이 가장 효율적인지 모르겠지만 경고 메시지를 좋아하지 않습니다. 더 나은 해결책이 있다고 생각하지만 찾을 수 없으며 색인의 일부 측면에 달려 있다고 생각합니다.
참고 . 이것은 한 번만 작동하며 기존 열을 덮어 쓰려고하면 오류 메시지가 표시됩니다.
참고 위와 같이 0.16.0에서 assign이 가장 좋은 솔루션입니다. 설명서 http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.assign.html#pandas.DataFrame.assign을 참조하십시오
. 중간 값을 덮어 쓰지 않는 데이터 흐름 유형에 적합합니다.
추가하려는 열이 시리즈 변수 인 경우 :
df["new_columns_name"]=series_variable_name #this will do it for you기존 열을 바꾸는 경우에도 잘 작동합니다. 교체하려는 열과 동일한 new_columns_name을 입력하면 기존 열 데이터를 새 계열 데이터로 덮어 씁니다.
데이터 프레임 및 시리즈 개체가있는 경우 같은 인덱스를 , pandas.concat또한 여기에서 작동합니다 :
import pandas as pd
df
# a b c d
#0 0.671399 0.101208 -0.181532 0.241273
#1 0.446172 -0.243316 0.051767 1.577318
#2 0.614758 0.075793 -0.451460 -0.012493
e = pd.Series([-0.335485, -1.166658, -0.385571])
e
#0 -0.335485
#1 -1.166658
#2 -0.385571
#dtype: float64
# here we need to give the series object a name which converts to the new column name
# in the result
df = pd.concat([df, e.rename("e")], axis=1)
df
# a b c d e
#0 0.671399 0.101208 -0.181532 0.241273 -0.335485
#1 0.446172 -0.243316 0.051767 1.577318 -1.166658
#2 0.614758 0.075793 -0.451460 -0.012493 -0.385571동일한 색인이없는 경우 :
e.index = df.index
df = pd.concat([df, e.rename("e")], axis=1)바보 :
df.loc[:, 'NewCol'] = 'New_Val'예:
df = pd.DataFrame(data=np.random.randn(20, 4), columns=['A', 'B', 'C', 'D'])
df
A B C D
0 -0.761269 0.477348 1.170614 0.752714
1 1.217250 -0.930860 -0.769324 -0.408642
2 -0.619679 -1.227659 -0.259135 1.700294
3 -0.147354 0.778707 0.479145 2.284143
4 -0.529529 0.000571 0.913779 1.395894
5 2.592400 0.637253 1.441096 -0.631468
6 0.757178 0.240012 -0.553820 1.177202
7 -0.986128 -1.313843 0.788589 -0.707836
8 0.606985 -2.232903 -1.358107 -2.855494
9 -0.692013 0.671866 1.179466 -1.180351
10 -1.093707 -0.530600 0.182926 -1.296494
11 -0.143273 -0.503199 -1.328728 0.610552
12 -0.923110 -1.365890 -1.366202 -1.185999
13 -2.026832 0.273593 -0.440426 -0.627423
14 -0.054503 -0.788866 -0.228088 -0.404783
15 0.955298 -1.430019 1.434071 -0.088215
16 -0.227946 0.047462 0.373573 -0.111675
17 1.627912 0.043611 1.743403 -0.012714
18 0.693458 0.144327 0.329500 -0.655045
19 0.104425 0.037412 0.450598 -0.923387
df.drop([3, 5, 8, 10, 18], inplace=True)
df
A B C D
0 -0.761269 0.477348 1.170614 0.752714
1 1.217250 -0.930860 -0.769324 -0.408642
2 -0.619679 -1.227659 -0.259135 1.700294
4 -0.529529 0.000571 0.913779 1.395894
6 0.757178 0.240012 -0.553820 1.177202
7 -0.986128 -1.313843 0.788589 -0.707836
9 -0.692013 0.671866 1.179466 -1.180351
11 -0.143273 -0.503199 -1.328728 0.610552
12 -0.923110 -1.365890 -1.366202 -1.185999
13 -2.026832 0.273593 -0.440426 -0.627423
14 -0.054503 -0.788866 -0.228088 -0.404783
15 0.955298 -1.430019 1.434071 -0.088215
16 -0.227946 0.047462 0.373573 -0.111675
17 1.627912 0.043611 1.743403 -0.012714
19 0.104425 0.037412 0.450598 -0.923387
df.loc[:, 'NewCol'] = 0
df
A B C D NewCol
0 -0.761269 0.477348 1.170614 0.752714 0
1 1.217250 -0.930860 -0.769324 -0.408642 0
2 -0.619679 -1.227659 -0.259135 1.700294 0
4 -0.529529 0.000571 0.913779 1.395894 0
6 0.757178 0.240012 -0.553820 1.177202 0
7 -0.986128 -1.313843 0.788589 -0.707836 0
9 -0.692013 0.671866 1.179466 -1.180351 0
11 -0.143273 -0.503199 -1.328728 0.610552 0
12 -0.923110 -1.365890 -1.366202 -1.185999 0
13 -2.026832 0.273593 -0.440426 -0.627423 0
14 -0.054503 -0.788866 -0.228088 -0.404783 0
15 0.955298 -1.430019 1.434071 -0.088215 0
16 -0.227946 0.047462 0.373573 -0.111675 0
17 1.627912 0.043611 1.743403 -0.012714 0
19 0.104425 0.037412 0.450598 -0.923387 0나 그냥 단지에 대한 같은 것을 추가 할 수 hum3 , .loc가 해결되지 않는 SettingWithCopyWarning난에 의지해야했다 df.insert(). 필자의 경우 거짓 열은 "fake"chain indexing으로 생성되었습니다 dict['a']['e']. 여기서 'e'새 열은 어디에 있고 dict['a']사전에서 오는 DataFrame입니다.
또한 현재 수행중인 작업을 알고있는 경우 pd.options.mode.chained_assignment = None
여기에 제공된 다른 솔루션 중 하나를 사용 하고 사용하지 않고 경고를 전환 할 수
있습니다.
데이터 프레임의 지정된 위치 (0 <= loc <= 열 수)에 새 열을 삽입하려면 Dataframe.insert를 사용하십시오.
DataFrame.insert(loc, column, value)따라서 df 라는 데이터 프레임 끝에 e 열을 추가하려는 경우 다음을 사용할 수 있습니다.
e = [-0.335485, -1.166658, -0.385571]
DataFrame.insert(loc=len(df.columns), column='e', value=e)값 는 Series, 정수 (이 경우 모든 셀이이 하나의 값으로 채워짐) 또는 배열 형 구조 일 수 있습니다.
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.insert.html
새 열을 할당하기 전에 데이터를 인덱싱 한 경우 인덱스를 정렬해야합니다. 적어도 내 경우에는 다음을 수행해야했습니다.
data.set_index(['index_column'], inplace=True)
"if index is unsorted, assignment of a new column will fail"
data.sort_index(inplace = True)
data.loc['index_value1', 'column_y'] = np.random.randn(data.loc['index_value1', 'column_x'].shape[0])그러나 주목해야 할 것은
df1['e'] = Series(np.random.randn(sLength), index=df1.index)이것은 df1.index에서 효과적으로 왼쪽 조인 이됩니다 . 따라서 외부 조인 효과 를 원한다면 불완전한 해결책은 데이터 유니버스를 다루는 인덱스 값으로 데이터 프레임을 만든 다음 위의 코드를 사용하는 것입니다. 예를 들어
data = pd.DataFrame(index=all_possible_values)
df1['e'] = Series(np.random.randn(sLength), index=df1.index)numpy.nan바보를 얻지 않고 데이터 프레임 에 s 열을 추가하는 일반적인 방법을 찾고있었습니다.SettingWithCopyWarning .
다음에서 :
나는 이것을 생각해 냈다.
col = 'column_name'
df = df.assign(**{col:numpy.full(len(df), numpy.nan)})기존 데이터 프레임에 새 열 'e'를 추가하려면
df1.loc[:,'e'] = Series(np.random.randn(sLength))완전성을 위해 DataFrame.eval () 메서드를 사용하는 또 다른 솔루션 :
데이터:
In [44]: e
Out[44]:
0 1.225506
1 -1.033944
2 -0.498953
3 -0.373332
4 0.615030
5 -0.622436
dtype: float64
In [45]: df1
Out[45]:
a b c d
0 -0.634222 -0.103264 0.745069 0.801288
4 0.782387 -0.090279 0.757662 -0.602408
5 -0.117456 2.124496 1.057301 0.765466
7 0.767532 0.104304 -0.586850 1.051297
8 -0.103272 0.958334 1.163092 1.182315
9 -0.616254 0.296678 -0.112027 0.679112해결책:
In [46]: df1.eval("e = @e.values", inplace=True)
In [47]: df1
Out[47]:
a b c d e
0 -0.634222 -0.103264 0.745069 0.801288 1.225506
4 0.782387 -0.090279 0.757662 -0.602408 -1.033944
5 -0.117456 2.124496 1.057301 0.765466 -0.498953
7 0.767532 0.104304 -0.586850 1.051297 -0.373332
8 -0.103272 0.958334 1.163092 1.182315 0.615030
9 -0.616254 0.296678 -0.112027 0.679112 -0.622436다음은 내가 한 일입니다 ...하지만 팬더와 일반적으로 파이썬에 익숙하지 않으므로 약속이 없습니다.
df = pd.DataFrame([[1, 2], [3, 4], [5,6]], columns=list('AB'))
newCol = [3,5,7]
newName = 'C'
values = np.insert(df.values,df.shape[1],newCol,axis=1)
header = df.columns.values.tolist()
header.append(newName)
df = pd.DataFrame(values,columns=header)