특정 열의 값이 NaN 인 Pandas DataFrame의 행을 삭제하는 방법

나는 이것을 가지고 DataFrame있으며 EPS열이 아닌 레코드 만 원합니다 NaN.

>>> df
                 STK_ID  EPS  cash
STK_ID RPT_Date                   
601166 20111231  601166  NaN   NaN
600036 20111231  600036  NaN    12
600016 20111231  600016  4.3   NaN
601009 20111231  601009  NaN   NaN
601939 20111231  601939  2.5   NaN
000001 20111231  000001  NaN   NaN

... df.drop(....)이 결과 데이터 프레임을 얻는 것과 같은 것 :

                  STK_ID  EPS  cash
STK_ID RPT_Date                   
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

어떻게합니까?

EPS가 NA가 아닌 행을 가져 가십시오.

df = df[df['EPS'].notna()]

이 질문은 이미 해결되었지만 ...

... 또한 원래 의견 에서 Wouter가 제안한 솔루션을 고려하십시오 . 를 포함하여 누락 된 데이터를 처리하는 기능 dropna()은 팬더에 명시 적으로 내장되어 있습니다. 수동으로 수행하는 것보다 잠재적으로 향상된 성능 외에도 이러한 기능에는 유용한 다양한 옵션이 있습니다.

In [24]: df = pd.DataFrame(np.random.randn(10,3))

In [25]: df.iloc[::2,0] = np.nan; df.iloc[::4,1] = np.nan; df.iloc[::3,2] = np.nan;

In [26]: df
Out[26]:
          0         1         2
0       NaN       NaN       NaN
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [27]: df.dropna()     #drop all rows that have any NaN values
Out[27]:
          0         1         2
1  2.677677 -1.466923 -0.750366
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295

In [28]: df.dropna(how='all')     #drop only if ALL columns are NaN
Out[28]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [29]: df.dropna(thresh=2)   #Drop row if it does not have at least two values that are **not** NaN
Out[29]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

In [30]: df.dropna(subset=[1])   #Drop only if NaN in specific column (as asked in the question)
Out[30]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

행 대신 열 삭제를 포함하여 다른 옵션도 있습니다 ( http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html의 문서 참조 ).

꽤 편리합니다!

나는 이것이 이미 답변되었지만 아만 (일반적으로 훌륭함)의 일반적인 설명과는 달리이 특정 질문에 대한 순수한 판다 솔루션을 위해 다른 사람 이이 문제를 겪을 경우를 대비하여 알고 있습니다.

import pandas as pd
df = df[pd.notnull(df['EPS'])]

이것을 사용할 수 있습니다 :

df.dropna(subset=['EPS'], how='all', inplace=True)

가장 간단한 솔루션 :

filtered_df = df[df['EPS'].notnull()]

위의 솔루션은 np.isfinite ()를 사용하는 것보다 낫습니다.

당신은 dataframe 방법 사용할 수 NOTNULL을 또는 반전 ISNULL , 또는 numpy.isnan :

In [332]: df[df.EPS.notnull()]
Out[332]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [334]: df[~df.EPS.isnull()]
Out[334]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [347]: df[~np.isnan(df.EPS)]
Out[347]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN

간단하고 쉬운 방법

df.dropna(subset=['EPS'],inplace=True)

출처 : https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html

다음과 같은 사실을 사용하는 또 다른 솔루션 np.nan != np.nan:

In [149]: df.query("EPS == EPS")
Out[149]:
                 STK_ID  EPS  cash
STK_ID RPT_Date
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

다른 버전 :

df[~df['EPS'].isna()]

많은 수의 열을 가진 데이터 세트에서 null 값을 포함하는 열 수와 그렇지 않은 열 수를 확인하는 것이 좋습니다.

print("No. of columns containing null values")
print(len(df.columns[df.isna().any()]))

print("No. of columns not containing null values")
print(len(df.columns[df.notna().all()]))

print("Total no. of columns in the dataframe")
print(len(df.columns))

예를 들어 내 데이터 프레임에는 82 개의 열이 있었고 그 중 19 개에는 적어도 하나의 null 값이 포함되었습니다.

또한 null 값이 더 많은 열에 따라 열과 행을 자동으로 제거 할 수도 있습니다
. 지능적으로 수행하는 코드는 다음과 같습니다.

df = df.drop(df.columns[df.isna().sum()>len(df.columns)],axis = 1)
df = df.dropna(axis = 0).reset_index(drop=True)

참고 : 위의 코드는 모든 null 값을 제거합니다. 널값을 원하면 이전에 처리하십시오.

'&'를 사용하여 추가 조건을 추가 할 수 있습니다. 예 :

df = df[(df.EPS > 2.0) & (df.EPS <4.0)]

문장을 평가할 때 팬더는 괄호가 필요합니다.

어떤 이유로 든 이전에 제출 된 답변 중 어느 것도 나를 위해 일하지 않았습니다. 이 기본 솔루션은 다음을 수행했습니다.

df = df[df.EPS >= 0]

물론 음수로 행을 삭제합니다. 따라서 원하는 경우 나중에 추가하는 것이 현명합니다.

df = df[df.EPS <= 0]

해결책 중 하나는

df = df[df.isnull().sum(axis=1) <= Cutoff Value]

다른 방법은

df= df.dropna(thresh=(df.shape[1] - Cutoff_value))

이것들이 유용하기를 바랍니다.