DataFrame 열의 문자열에서 원하지 않는 부분을 제거하는 효율적인 방법을 찾고 있습니다.
데이터는 다음과 같습니다.
time result
1 09:00 +52A
2 10:00 +62B
3 11:00 +44a
4 12:00 +30b
5 13:00 -110a
이 데이터를 다음과 같이 정리해야합니다.
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
나는 노력했다 .str.lstrip('+-'). str.rstrip('aAbBcC')오류가 발생했습니다.
TypeError: wrapper() takes exactly 1 argument (2 given)어떤 포인터라도 대단히 감사하겠습니다!
답변:
data['result'] = data['result'].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))열의 문자열에서 원하지 않는 부분을 어떻게 제거합니까?
원래 질문이 게시 된 지 6 년이 지난 지금 팬더는 이러한 문자열 조작 작업을 간결하게 수행 할 수있는 "벡터화 된"문자열 함수를 많이 가지고 있습니다.
이 답변은 이러한 문자열 함수 중 일부를 탐색하고 더 빠른 대안을 제안하며 마지막에 타이밍 비교를 시작합니다.
.str.replace일치시킬 부분 문자열 / 패턴을 지정하고 대체 할 부분 문자열을 지정하십시오.
pd.__version__
# '0.24.1'
df
time result
1 09:00 +52A
2 10:00 +62B
3 11:00 +44a
4 12:00 +30b
5 13:00 -110a
df['result'] = df['result'].str.replace(r'\D', '')
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
결과를 정수로 변환해야하는 경우 Series.astype,
df['result'] = df['result'].str.replace(r'\D', '').astype(int)
df.dtypes
time object
result int64
dtype: object
내부 수정 df을 원하지 않으면 다음을 사용하십시오 DataFrame.assign.
df2 = df.assign(result=df['result'].str.replace(r'\D', ''))
df
# Unchanged
.str.extract유지하려는 부분 문자열을 추출하는 데 유용합니다.
df['result'] = df['result'].str.extract(r'(\d+)', expand=False)
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
를 사용하면 extract하나 이상의 캡처 그룹을 지정해야합니다. expand=False첫 번째 캡처 그룹에서 캡처 한 항목이있는 Series를 반환합니다.
.str.split 과 .str.get모든 문자열이이 일관된 구조를 따른다고 가정하면 분할 작업이 이루어집니다.
# df['result'] = df['result'].str.split(r'\D').str[1]
df['result'] = df['result'].str.split(r'\D').str.get(1)
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
일반적인 솔루션을 찾고 있다면 권장하지 않습니다.
간결하고 읽기 쉬운
str액세서 기반 솔루션에 만족 하면 여기서 멈출 수 있습니다. 그러나 더 빠르고 성능이 우수한 대안에 관심이있는 경우 계속 읽으십시오.
어떤 상황에서는 판다 문자열 함수보다 목록 이해력이 선호되어야합니다. 그 이유는 문자열 함수가 본질적으로 벡터화하기가 어렵 기 때문에 (단어의 의미에서) 대부분의 문자열 및 정규식 함수는 오버 헤드가 더 많은 루프를 둘러싸는 래퍼 일뿐입니다.
내 글 은 팬더의 for-loops가 정말로 나쁜가? 언제 걱정해야합니까? 더 자세히 설명합니다.
str.replace옵션을 사용하여 다시 쓸 수있다re.sub
import re
# Pre-compile your regex pattern for more performance.
p = re.compile(r'\D')
df['result'] = [p.sub('', x) for x in df['result']]
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
이 str.extract예는 목록 이해를 사용하여 다시 작성할 수 있습니다 re.search.
p = re.compile(r'\d+')
df['result'] = [p.search(x)[0] for x in df['result']]
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
NaN 또는 불일치 가능성이있는 경우 일부 오류 검사를 포함하도록 위의 내용을 다시 작성해야합니다. 함수를 사용 하여이 작업을 수행합니다.
def try_extract(pattern, string):
try:
m = pattern.search(string)
return m.group(0)
except (TypeError, ValueError, AttributeError):
return np.nan
p = re.compile(r'\d+')
df['result'] = [try_extract(p, x) for x in df['result']]
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
리스트 이해를 사용하여 @eumiro와 @MonkeyButter의 답변을 다시 쓸 수도 있습니다.
df['result'] = [x.lstrip('+-').rstrip('aAbBcC') for x in df['result']]과,
df['result'] = [x[1:-1] for x in df['result']]NaN 등을 처리하기위한 동일한 규칙이 적용됩니다.
perfplot을 사용하여 생성 된 그래프 . 참고로 전체 코드 목록. 관련 기능은 다음과 같습니다.
이러한 비교 중 일부는 OP의 데이터 구조를 이용하기 때문에 불공평하지만 원하는 것을 취합니다. 한 가지 주목할 점은 모든 목록 이해 기능이 동등한 팬더 변형보다 빠르거나 비슷하다는 것입니다.
기능
def eumiro(df): return df.assign( result=df['result'].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))) def coder375(df): return df.assign( result=df['result'].replace(r'\D', r'', regex=True)) def monkeybutter(df): return df.assign(result=df['result'].map(lambda x: x[1:-1])) def wes(df): return df.assign(result=df['result'].str.lstrip('+-').str.rstrip('aAbBcC')) def cs1(df): return df.assign(result=df['result'].str.replace(r'\D', '')) def cs2_ted(df): # `str.extract` based solution, similar to @Ted Petrou's. so timing together. return df.assign(result=df['result'].str.extract(r'(\d+)', expand=False)) def cs1_listcomp(df): return df.assign(result=[p1.sub('', x) for x in df['result']]) def cs2_listcomp(df): return df.assign(result=[p2.search(x)[0] for x in df['result']]) def cs_eumiro_listcomp(df): return df.assign( result=[x.lstrip('+-').rstrip('aAbBcC') for x in df['result']]) def cs_mb_listcomp(df): return df.assign(result=[x[1:-1] for x in df['result']])
Try using .loc[row_indexer,col_indexer] = value instead
팬더 바꾸기 기능을 사용합니다. 정규식을 사용할 수 있으므로 매우 간단하고 강력합니다. 아래에서는 정규 표현식 \ D를 사용하여 숫자가 아닌 문자를 제거하지만 분명히 정규 표현식으로 창의력을 발휘할 수 있습니다.
data['result'].replace(regex=True,inplace=True,to_replace=r'\D',value=r'')df.loc[:, 'column_a'].replace(regex=True, to_replace="my_prefix", value="new_prefix"). "my_prefixaaa"와 같은 문자열을 "new_prefixaaa"로 변환합니다.
데이터 프레임 열에서 제거 할 위치 수를 알고있는 특별한 경우 람다 함수 내에서 문자열 인덱싱을 사용하여 해당 부분을 제거 할 수 있습니다.
마지막 캐릭터 :
data['result'] = data['result'].map(lambda x: str(x)[:-1])처음 두 문자 :
data['result'] = data['result'].map(lambda x: str(x)[2:])여기에 버그가 있습니다 : 현재 str.lstripand에 인수를 전달할 수 없습니다 str.rstrip:
http://github.com/pydata/pandas/issues/2411
편집 : 2012-12-07 이것은 이제 dev 분기에서 작동합니다.
In [8]: df['result'].str.lstrip('+-').str.rstrip('aAbBcC')
Out[8]:
1 52
2 62
3 44
4 30
5 110
Name: result
나는 종종 더 빠르기 때문에 이러한 유형의 작업에 대해 목록 이해력을 종종 사용합니다.
이와 같은 작업을 수행하는 다양한 방법 (예 : DataFrame 내에서 계열의 모든 요소 수정)간에 성능에 큰 차이가있을 수 있습니다. 종종 목록 이해력이 가장 빠를 수 있습니다.이 작업에 대해서는 아래 코드 레이스를 참조하십시오.
import pandas as pd
#Map
data = pd.DataFrame({'time':['09:00','10:00','11:00','12:00','13:00'], 'result':['+52A','+62B','+44a','+30b','-110a']})
%timeit data['result'] = data['result'].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))
10000 loops, best of 3: 187 µs per loop
#List comprehension
data = pd.DataFrame({'time':['09:00','10:00','11:00','12:00','13:00'], 'result':['+52A','+62B','+44a','+30b','-110a']})
%timeit data['result'] = [x.lstrip('+-').rstrip('aAbBcC') for x in data['result']]
10000 loops, best of 3: 117 µs per loop
#.str
data = pd.DataFrame({'time':['09:00','10:00','11:00','12:00','13:00'], 'result':['+52A','+62B','+44a','+30b','-110a']})
%timeit data['result'] = data['result'].str.lstrip('+-').str.rstrip('aAbBcC')
1000 loops, best of 3: 336 µs per loopDF에 숫자 사이에 추가 문자가 있다고 가정합니다. 마지막 항목.
result time
0 +52A 09:00
1 +62B 10:00
2 +44a 11:00
3 +30b 12:00
4 -110a 13:00
5 3+b0 14:00str.replace를 사용하여 시작과 끝뿐만 아니라 그 사이의 문자를 제거 할 수 있습니다.
DF['result'] = DF['result'].str.replace('\+|a|b|\-|A|B', '')산출:
result time
0 52 09:00
1 62 10:00
2 44 11:00
3 30 12:00
4 110 13:00
5 30 14:00