인덱스 배열을 1-hot 인코딩 된 numpy 배열로 변환


227

1d numpy 배열이 있다고 가정 해 봅시다.

a = array([1,0,3])

이것을 2d 1-hot 어레이로 인코딩하고 싶습니다.

b = array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])

이 작업을 수행하는 빠른 방법이 있습니까? 의 a요소를 설정하기 위해 반복하는 것보다 빠릅니다 b.

답변:


395

배열 a은 출력 배열에서 0이 아닌 요소의 열을 정의합니다. 또한 행을 정의한 다음 멋진 인덱싱을 사용해야합니다.

>>> a = np.array([1, 0, 3])
>>> b = np.zeros((a.size, a.max()+1))
>>> b[np.arange(a.size),a] = 1
>>> b
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])

111
아름다운. 약간 일반화 : b = np.zeros((a.size, a.max()+1)), 그리고`b [np.arange (a.size), a] = 1`
James Atwood

10
@JamesAtwood 그것은 응용 프로그램에 따라 다르지만 max를 매개 변수로 만들고 데이터에서 계산하지 않습니다.
Mohammad Moghimi

1
@MohammadMoghimi 물론입니다.
James Atwood

7
만약 'a'가 2d라면? 3 차원 원-핫 매트릭스를 원하십니까?
AD

8
누구나 이것이 왜 작동하는지에 대한 설명을 지적 할 수는 있지만 [:, a]가있는 조각은 그렇지 않습니다.
N. McA.

168
>>> values = [1, 0, 3]
>>> n_values = np.max(values) + 1
>>> np.eye(n_values)[values]
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])

9
이 솔루션은 입력 ND 매트릭스에서 one-hot N + 1D 매트릭스로 유일하게 유용한 솔루션입니다. 예 : input_matrix = np.asarray ([[0,1,1], [1,1,2]]); np.eye (3) [input_matrix] # output 3D 텐서
Isaías

5
+1 허용 된 솔루션보다 선호되기 때문에 +1입니다. 좀 더 일반적인 솔루션의 values경우 Python 목록이 아닌 Numpy 배열이어야하며 1D뿐만 아니라 모든 차원에서 작동합니다.
Alex

8
복용주의 np.max(values) + 1데이터 세트가 무작위로 샘플링 말하고 단지 우연히이 최대 값을 포함하지 않을 경우 버킷의 숫자로하는 것이 바람직하지 않을 수 있습니다. 버킷 수는 오히려 매개 변수 여야하며 각 값이 0 (포함) 및 버킷 수 (제외) 내에 있는지 확인하기 위해 어설 션 / 확인을 수행 할 수 있습니다.
NightElfik

2
나 에게이 솔루션은 최고이며 모든 텐서에 쉽게 일반화 할 수 있습니다 : def one_hot (x, depth = 10) : return np.eye (depth) [x]. 텐서 x를 인덱스로 지정하면 x.shape 눈 행의 텐서가 반환됩니다.
cecconeurale

4
이 솔루션을 "이해하기 쉬운"방법과 그것이 왜 N-dims ( numpy문서 를 읽지 않고) 작동하는지 : 원래 행렬의 각 위치 ( values)에 정수 k가 있고 eye(n)[k]그 위치에 1- 핫 벡터 를 "넣습니다" . 이것은 원래 행렬의 스칼라 위치에 벡터를 "퍼팅"하기 때문에 차원을 추가합니다.
avivr

35

keras를 사용하는 경우이를위한 내장 유틸리티가 있습니다.

from keras.utils.np_utils import to_categorical   

categorical_labels = to_categorical(int_labels, num_classes=3)

그리고 @YXD의 답변 과 거의 동일합니다 ( source-code 참조 ).


32

여기 내가 유용하다고 생각하는 것이 있습니다.

def one_hot(a, num_classes):
  return np.squeeze(np.eye(num_classes)[a.reshape(-1)])

여기 num_classes당신이 가지고있는 수업의 수를 나타냅니다. 따라서 (10000)a 모양의 벡터가있는 경우이 함수 는 벡터 를 (10000, C)로 변환합니다 . 주 제로 색인은, 즉 줄 것이다 .aone_hot(np.array([0, 1]), 2)[[1, 0], [0, 1]]

정확히 당신이 믿고 싶은 것.

추신 : 소스는 시퀀스 모델입니다-deeplearning.ai


또한 np.eye를 사용하여 (벡터 a의 크기) 많은 하나의 핫 인코딩 배열을 얻기 때문에 np.squeeze ()를 수행하는 이유는 무엇 np.eye(num_classes)[a.reshape(-1)]. What you are simply doing is using 입니까? a.reshape(-1)의 색인에 해당하는 출력 을 생성합니다 np.eye(). np.sqeeze출력의 치수에서 항상처럼 결코 가질 수없는 단일 치수를 제거하기 위해이를 사용하기 때문에 그 필요성을 이해하지 못했습니다.(a_flattened_size, num_classes)
Anu

27

당신은 사용할 수 있습니다 sklearn.preprocessing.LabelBinarizer:

예:

import sklearn.preprocessing
a = [1,0,3]
label_binarizer = sklearn.preprocessing.LabelBinarizer()
label_binarizer.fit(range(max(a)+1))
b = label_binarizer.transform(a)
print('{0}'.format(b))

산출:

[[0 1 0 0]
 [1 0 0 0]
 [0 0 0 1]]

무엇보다도 sklearn.preprocessing.LabelBinarizer()출력 transform이 희소 하도록 초기화 할 수 있습니다 .


21

numpy의 기능을 사용할 수도 있습니다 .

numpy.eye(number of classes)[vector containing the labels]


1
더 명확하게 사용 np.identity(num_classes)[indices]하면 더 좋습니다. 좋은 대답입니다!
Oliver

5

다음은 1-D 벡터를 2D one-hot array로 변환하는 함수입니다.

#!/usr/bin/env python
import numpy as np

def convertToOneHot(vector, num_classes=None):
    """
    Converts an input 1-D vector of integers into an output
    2-D array of one-hot vectors, where an i'th input value
    of j will set a '1' in the i'th row, j'th column of the
    output array.

    Example:
        v = np.array((1, 0, 4))
        one_hot_v = convertToOneHot(v)
        print one_hot_v

        [[0 1 0 0 0]
         [1 0 0 0 0]
         [0 0 0 0 1]]
    """

    assert isinstance(vector, np.ndarray)
    assert len(vector) > 0

    if num_classes is None:
        num_classes = np.max(vector)+1
    else:
        assert num_classes > 0
        assert num_classes >= np.max(vector)

    result = np.zeros(shape=(len(vector), num_classes))
    result[np.arange(len(vector)), vector] = 1
    return result.astype(int)

다음은 사용법 예입니다.

>>> a = np.array([1, 0, 3])

>>> convertToOneHot(a)
array([[0, 1, 0, 0],
       [1, 0, 0, 0],
       [0, 0, 0, 1]])

>>> convertToOneHot(a, num_classes=10)
array([[0, 1, 0, 0, 0, 0, 0, 0, 0, 0],
       [1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
       [0, 0, 0, 1, 0, 0, 0, 0, 0, 0]])

이것은 벡터에서만 작동하며 ( assert벡터 모양을 확인할 필요는 없습니다 ;)).
johndodo

1
일반화 된 접근 및 매개 변수 검사의 경우 +1 그러나 일반적으로 assert를 사용하여 입력을 확인하지 않는 것이 좋습니다. 내부 중간 조건을 확인하기 위해 어설 션 만 사용하십시오. 대신 모두 assert ___를 로 변환하십시오 if not ___ raise Exception(<Reason>).
fnunnari

3

1 핫 인코딩

   one_hot_encode=pandas.get_dummies(array)

예를 들어

코딩 즐기기


주석에 감사하지만 코드가 수행하는 작업에 대한 간단한 설명이 매우 유용합니다!
Clarus

예를 참조하십시오
Shubham Mishra

@Clarus Checkout 아래 예제. one_hot_encode [value]를 수행하여 np 배열에있는 각 값의 하나의 핫 인코딩에 액세스 할 수 있습니다. >>> import numpy as np >>> import pandas >>> a = np.array([1,0,3]) >>> one_hot_encode=pandas.get_dummies(a) >>> print(one_hot_encode) 0 1 3 0 0 1 0 1 1 0 0 2 0 0 1 >>> print(one_hot_encode[1]) 0 1 1 0 2 0 Name: 1, dtype: uint8 >>> print(one_hot_encode[0]) 0 0 1 1 2 0 Name: 0, dtype: uint8 >>> print(one_hot_encode[3]) 0 0 1 0 2 1 Name: 3, dtype: uint8
Deepak

2

나는 짧은 대답이 아니오라고 생각합니다. 보다 일반적인 n차원의 경우 , 나는 이것을 생각해 냈습니다.

# For 2-dimensional data, 4 values
a = np.array([[0, 1, 2], [3, 2, 1]])
z = np.zeros(list(a.shape) + [4])
z[list(np.indices(z.shape[:-1])) + [a]] = 1

더 나은 솔루션이 있는지 궁금합니다. 마지막 두 줄로 해당 목록을 만들어야한다는 것을 좋아하지 않습니다. 어쨌든, 나는 몇 가지 측정을 timeit했으며, numpy기반 ( indices/ arange) 및 반복 버전은 거의 동일한 것으로 보입니다 .


2

그냥에 정교 훌륭한 대답 에서 K3 --- RNC , 여기에서 더 일반적인 버전입니다 :

def onehottify(x, n=None, dtype=float):
    """1-hot encode x with the max value n (computed from data if n is None)."""
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    return np.eye(n, dtype=dtype)[x]

또한, 여기에이 방법의 빠른 - 및 - 더러운 벤치 마크와의 방법입니다 현재 허용 대답 하여 YXD (약간 변경은 단지 1 차원 ndarrays와 후자의 작품 것을 제외하고 동일한 API를 제공 그래서,) :

def onehottify_only_1d(x, n=None, dtype=float):
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    b = np.zeros((len(x), n), dtype=dtype)
    b[np.arange(len(x)), x] = 1
    return b

후자의 방법은 ~ 35 % 빠르지 만 (MacBook Pro 13 2015), 전자가 더 일반적입니다.

>>> import numpy as np
>>> np.random.seed(42)
>>> a = np.random.randint(0, 9, size=(10_000,))
>>> a
array([6, 3, 7, ..., 5, 8, 6])
>>> %timeit onehottify(a, 10)
188 µs ± 5.03 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
>>> %timeit onehottify_only_1d(a, 10)
139 µs ± 2.78 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

2

다음 코드를 사용하여 원핫 벡터로 변환 할 수 있습니다.

x는 클래스 0부터 숫자까지의 단일 열이있는 정규 클래스 벡터입니다.

import numpy as np
np.eye(x.max()+1)[x]

0이 클래스가 아닌 경우; 그런 다음 +1을 제거하십시오.


1

나는 최근에 같은 종류의 문제에 부딪 혔고 특정 형성 내에있는 숫자가있는 경우에만 만족하는 것으로 밝혀졌습니다. 예를 들어 다음 목록을 원 핫 인코딩하려면 다음을 수행하십시오.

all_good_list = [0,1,2,3,4]

게시 된 솔루션은 이미 위에서 언급했습니다. 그러나이 데이터를 고려하면 어떻게됩니까?

problematic_list = [0,23,12,89,10]

위에서 언급 한 방법으로 수행하면 90 개의 원핫 열이 생길 수 있습니다. 모든 답변에 다음과 같은 내용이 포함되어 있기 때문 n = np.max(a)+1입니다. 나에게 맞는 일반적인 솔루션을 발견하고 당신과 공유하고 싶었습니다.

import numpy as np
import sklearn
sklb = sklearn.preprocessing.LabelBinarizer()
a = np.asarray([1,2,44,3,2])
n = np.unique(a)
sklb.fit(n)
b = sklb.transform(a)

위의 솔루션에 대해 동일한 제한이 발생했기를 바랍니다.


1

이러한 유형의 인코딩은 일반적으로 numpy 배열의 일부입니다. 다음과 같이 numpy 배열을 사용하는 경우 :

a = np.array([1,0,3])

그런 다음 1- 핫 인코딩으로 변환하는 매우 간단한 방법이 있습니다.

out = (np.arange(4) == a[:,None]).astype(np.float32)

그게 다야.


1
  • p는 2 차원 ndarray입니다.
  • 우리는 어느 값이 행에서 가장 높은지를 알고 1과 0을 넣습니다.

깨끗하고 쉬운 솔루션 :

max_elements_i = np.expand_dims(np.argmax(p, axis=1), axis=1)
one_hot = np.zeros(p.shape)
np.put_along_axis(one_hot, max_elements_i, 1, axis=1)

1

사용 Neuraxle의 파이프 라인 단계를 :

  1. 모범을 보이십시오
import numpy as np
a = np.array([1,0,3])
b = np.array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])
  1. 실제 전환을
from neuraxle.steps.numpy import OneHotEncoder
encoder = OneHotEncoder(nb_columns=4)
b_pred = encoder.transform(a)
  1. 작동 확인
assert b_pred == b

설명서 링크 : neuraxle.steps.numpy.OneHotEncoder


0

위의 답변과 내 유스 케이스를 기반 으로이 기능을 작성하기 위해 작성한 함수 예제는 다음과 같습니다.

def label_vector_to_one_hot_vector(vector, one_hot_size=10):
    """
    Use to convert a column vector to a 'one-hot' matrix

    Example:
        vector: [[2], [0], [1]]
        one_hot_size: 3
        returns:
            [[ 0.,  0.,  1.],
             [ 1.,  0.,  0.],
             [ 0.,  1.,  0.]]

    Parameters:
        vector (np.array): of size (n, 1) to be converted
        one_hot_size (int) optional: size of 'one-hot' row vector

    Returns:
        np.array size (vector.size, one_hot_size): converted to a 'one-hot' matrix
    """
    squeezed_vector = np.squeeze(vector, axis=-1)

    one_hot = np.zeros((squeezed_vector.size, one_hot_size))

    one_hot[np.arange(squeezed_vector.size), squeezed_vector] = 1

    return one_hot

label_vector_to_one_hot_vector(vector=[[2], [0], [1]], one_hot_size=3)

0

numpy 연산자 만 사용하여 간단한 함수를 완성하기 위해 추가하고 있습니다.

   def probs_to_onehot(output_probabilities):
        argmax_indices_array = np.argmax(output_probabilities, axis=1)
        onehot_output_array = np.eye(np.unique(argmax_indices_array).shape[0])[argmax_indices_array.reshape(-1)]
        return onehot_output_array

확률 행렬을 입력으로 사용합니다. 예 :

[[0.03038822 0.65810204 0.16549407 0.3797123] ... [0.02771272 0.2760752 0.3280924 0.33458805]]

그리고 그것은 돌아올 것이다

[[0 0 0] ... [0 0 1]]


0

다음은 차원에 독립적 인 독립형 솔루션입니다.

이것은 arr음이 아닌 정수의 N 차원 배열 을 1-hot N + 1 차원 배열 one_hot로 변환 one_hot[i_1,...,i_N,c] = 1합니다 arr[i_1,...,i_N] = c. 여기서 means . 통해 입력을 복구 할 수 있습니다np.argmax(one_hot, -1)

def expand_integer_grid(arr, n_classes):
    """

    :param arr: N dim array of size i_1, ..., i_N
    :param n_classes: C
    :returns: one-hot N+1 dim array of size i_1, ..., i_N, C
    :rtype: ndarray

    """
    one_hot = np.zeros(arr.shape + (n_classes,))
    axes_ranges = [range(arr.shape[i]) for i in range(arr.ndim)]
    flat_grids = [_.ravel() for _ in np.meshgrid(*axes_ranges, indexing='ij')]
    one_hot[flat_grids + [arr.ravel()]] = 1
    assert((one_hot.sum(-1) == 1).all())
    assert(np.allclose(np.argmax(one_hot, -1), arr))
    return one_hot

0

다음 코드를 사용하십시오. 가장 잘 작동합니다.

def one_hot_encode(x):
"""
    argument
        - x: a list of labels
    return
        - one hot encoding matrix (number of labels, number of class)
"""
encoded = np.zeros((len(x), 10))

for idx, val in enumerate(x):
    encoded[idx][val] = 1

return encoded

PS 여기 링크를 찾을 필요가 없습니다.


5
numpy와 함께 루프를 사용하지 않아야합니다
Kenan
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.