행을 인덱싱하고 삽입하는 동안 팬더 데이터 프레임의 강제 방지

팬더 데이터 프레임의 개별 행을 사용하고 있지만 행을 인덱싱하고 삽입하는 동안 강제 문제로 인해 어려움을 겪고 있습니다. 팬더는 항상 혼합 int / float에서 all-float 유형으로 강제 변환하려고하는 것처럼 보이며이 동작에 대한 명확한 제어 기능을 볼 수 없습니다.

예를 들어 다음은 aas int및 bas를 사용하는 간단한 데이터 프레임입니다 float.

import pandas as pd
pd.__version__  # '0.25.2'

df = pd.DataFrame({'a': [1], 'b': [2.2]})
print(df)
#    a    b
# 0  1  2.2
print(df.dtypes)
# a      int64
# b    float64
# dtype: object

하나의 행을 인덱싱하는 동안 강제 문제가 있습니다.

print(df.loc[0])
# a    1.0
# b    2.2
# Name: 0, dtype: float64
print(dict(df.loc[0]))
# {'a': 1.0, 'b': 2.2}

그리고 하나의 행을 삽입하는 동안 강제 문제가 있습니다.

df.loc[1] = {'a': 5, 'b': 4.4}
print(df)
#      a    b
# 0  1.0  2.2
# 1  5.0  4.4
print(df.dtypes)
# a    float64
# b    float64
# dtype: object

두 경우 모두 a열을 부동 유형으로 강제 변환하지 않고 정수 유형으로 유지 하려고합니다 .

약간의 파기 후 여기에 끔찍한 추악한 해결책이 있습니다. (더 나은 답변이 허용됩니다.)

여기에서 발견 된 단점 은 숫자가 아닌 열이 강제 변환을 중지한다는 것 입니다. 따라서 한 행을 다음으로 색인하는 방법이 있습니다 dict.

dict(df.assign(_='').loc[0].drop('_', axis=0))
# {'a': 1, 'b': 2.2}

한 행으로 새 데이터 프레임을 만들어 행 삽입을 수행 할 수 있습니다.

df = df.append(pd.DataFrame({'a': 5, 'b': 4.4}, index=[1]))
print(df)
#    a    b
# 0  1  2.2
# 1  5  4.4

이 두 가지 트릭은 큰 데이터 프레임에 최적화되어 있지 않으므로 더 나은 답변을 주셔서 감사합니다!

문제의 근원은

1. 팬더 데이터 프레임을 인덱싱하면 팬더 시리즈가 반환됩니다.

우리는 그것을 볼 수 있습니다 :

type(df.loc[0])
# pandas.core.series.Series

그리고 시리즈는 하나의 dtype 만 가질 수 있습니다 (int64 또는 float64).

내 머리에는 두 가지 해결 방법이 있습니다.

print(df.loc[[0]])
# this will return a dataframe instead of series
# so the result will be
#    a    b
# 0  1  2.2

# but the dictionary is hard to read
print(dict(df.loc[[0]]))
# {'a': 0    1
# Name: a, dtype: int64, 'b': 0    2.2
# Name: b, dtype: float64}

또는

print(df.astype(object).loc[0])
# this will change the type of value to object first and then print
# so the result will be
# a      1
# b    2.2
# Name: 0, dtype: object

print(dict(df.astype(object).loc[0]))
# in this way the dictionary is as expected
# {'a': 1, 'b': 2.2}

2. 사전을 데이터 프레임에 추가하면 사전이 먼저 시리즈 로 변환 된 다음 추가됩니다. (그래서 같은 문제가 다시 발생합니다)

https://github.com/pandas-dev/pandas/blob/master/pandas/core/frame.py#L6973

if isinstance(other, dict):
    other = Series(other)

따라서 귀하의 둘러보기는 실제로 견고한 것입니다.

df.append(pd.Series({'a': 5, 'b': 4.4}, dtype=object, name=1))
#    a    b
# 0  1  2.2
# 1  5  4.4

데이터 프레임에서 데이터를 가져 오거나 데이터 프레임에 데이터를 추가하고 데이터 유형을 동일하게 유지해야 할 때마다 필요한 데이터 유형을 인식하지 못하는 다른 내부 구조로 변환하지 마십시오.

그렇게 df.loc[0]하면로 변환됩니다 pd.Series.

>>> type(df.loc[0])
<class 'pandas.core.series.Series'>

그리고 이제는 Series하나만 가질 것 dtype입니다. 따라서 강요 int에 float.

대신 같은 구조를 유지 pd.DataFrame,

>>> type(df.loc[[0]])
<class 'pandas.core.frame.DataFrame'>

프레임으로 필요한 행을 선택한 다음로 변환 dict

>>> df.loc[[0]].to_dict(orient='records')
[{'a': 1, 'b': 2.2}]

마찬가지로 팬더 pd.DataFrame.append기능을 사용하여 새 행을 추가하려면

>>> df = df.append([{'a': 5, 'b': 4.4}]) # NOTE: To append as a row, use []
   a    b
0  1  2.2
0  5  4.4

위의 형식 변환은 발생하지 않습니다.

>>> df.dtypes
a      int64
b    float64
dtype: object

약간의 데이터 조작을 통한 다른 접근 방식 :

사전 (또는 데이터 프레임) 목록이 있다고 가정하십시오.

lod=[{'a': [1], 'b': [2.2]}, {'a': [5], 'b': [4.4]}]

여기서 각 사전은 행을 나타냅니다 (두 번째 사전의 목록 참고). 그런 다음 다음을 통해 데이터 프레임을 쉽게 만들 수 있습니다.

pd.concat([pd.DataFrame(dct) for dct in lod])
   a    b
0  1  2.2
0  5  4.4

그리고 열의 유형을 유지합니다. concat 참조

따라서 데이터 프레임과 dicts 목록이 있다면

pd.concat([df] + [pd.DataFrame(dct) for dct in lod])

첫 번째 경우 널 입력 가능 정수 데이터 유형으로 작업 할 수 있습니다 . 시리즈 선택이 강요되지 않고 float값이 object컨테이너에 배치됩니다 . 그런 다음 기본 값이로 저장된 사전이 올바르게 작성됩니다 np.int64.

df = pd.DataFrame({'a': [1], 'b': [2.2]})
df['a'] = df['a'].astype('Int64')

d = dict(df.loc[0])
#{'a': 1, 'b': 2.2}

type(d['a'])
#numpy.int64

구문 을 사용하면 두 번째 경우에도 거의 작동하지만으로 업 캐스트 object되므로 좋지 않습니다.

df.loc[1] = {'a': 5, 'b': 4.4}
#   a    b
#0  1  2.2
#1  5  4.4

df.dtypes
#a     object
#b    float64
#dtype: object

그러나 마지막에 행을 추가하는 구문 (RangeIndex 사용)을 약간 변경하면 유형이 올바르게 처리됩니다.

df = pd.DataFrame({'a': [1], 'b': [2.2]})
df['a'] = df['a'].astype('Int64')

df.loc[df.shape[0], :] = [5, 4.4]
#   a    b
#0  1  2.2
#1  5  4.4

df.dtypes
#a      Int64
#b    float64
#dtype: object