정규식으로 팬더의 행을 필터링하는 방법

열 중 하나에서 정규 표현식을 사용하여 데이터 프레임을 깨끗하게 필터링하고 싶습니다.

고안된 예 :

In [210]: foo = pd.DataFrame({'a' : [1,2,3,4], 'b' : ['hi', 'foo', 'fat', 'cat']})
In [211]: foo
Out[211]: 
   a    b
0  1   hi
1  2  foo
2  3  fat
3  4  cat

f정규식 을 사용하여 시작하는 행을 필터링하고 싶습니다 . 먼저 가십시오 :

In [213]: foo.b.str.match('f.*')
Out[213]: 
0    []
1    ()
2    ()
3    []

그다지 유용하지 않습니다. 그러나 이것은 내 부울 인덱스를 얻습니다.

In [226]: foo.b.str.match('(f.*)').str.len() > 0
Out[226]: 
0    False
1     True
2     True
3    False
Name: b

그래서 나는 다음과 같이 제한을 할 수 있습니다.

In [229]: foo[foo.b.str.match('(f.*)').str.len() > 0]
Out[229]: 
   a    b
1  2  foo
2  3  fat

그래도 인위적으로 정규식에 그룹을 넣을 수 있으며 깨끗한 방법이 아닌 것 같습니다. 더 좋은 방법이 있습니까?

사용은 포함 대신 :

In [10]: df.b.str.contains('^f')
Out[10]: 
0    False
1     True
2     True
3    False
Name: b, dtype: bool

문자열 처리 기능이 이미 있습니다 Series.str.startswith(). 당신은 시도해야합니다 foo[foo.b.str.startswith('f')].

결과:

    a   b
1   2   foo
2   3   fat

나는 당신이 기대하는 것을 생각합니다.

또는 regex 옵션과 함께 contains를 사용할 수 있습니다. 예를 들면 다음과 같습니다.

foo[foo.b.str.contains('oo', regex= True, na=False)]

결과:

    a   b
1   2   foo

na=False nan, null 등의 값이있는 경우 오류를 방지하는 것입니다.

데이터 프레임을 사용한 다중 열 검색 :

frame[frame.filename.str.match('*.'+MetaData+'.*') & frame.file_path.str.match('C:\test\test.txt')]

약간 늦을 수도 있지만, 이제 Pandas에서 수행하기가 더 쉽습니다. as_indexer=True부울 결과를 얻기 위해 일치를 호출 할 수 있습니다 . 이것은 (차이와 함께 설명되어 있습니다 match와 contains) 여기 .

@ user3136169의 훌륭한 답변에 감사드립니다. NoneType 값을 제거하는 방법에 대한 예입니다.

def regex_filter(val):
    if val:
        mo = re.search(regex,val)
        if mo:
            return True
        else:
            return False
    else:
        return False

df_filtered = df[df['col'].apply(regex_filter)]

또한 정규식을 인수로 추가 할 수도 있습니다.

def regex_filter(val,myregex):
    ...

df_filtered = df[df['col'].apply(res_regex_filter,regex=myregex)]

정규 표현식을 확인하고 열에 적용하는 부울 함수를 작성하십시오.

foo[foo['b'].apply(regex_function)]

str 슬라이스 사용

foo[foo.b.str[0]=='f']
Out[18]: 
   a    b
1  2  foo
2  3  fat