“깊은 노드의 정리”: 대칭 제약 조건 구축

고유 한 대칭을 가져야하는 학습 문제가있는 경우 학습 문제를 대칭 제약 조건에 적용하여 학습을 향상시키는 방법이 있습니까?

예를 들어 이미지 인식을하는 경우 2D 회전 대칭을 원할 수 있습니다. 이미지의 회전 된 버전이 원본과 동일한 결과를 가져야 함을 의미합니다.

또는 틱택 토 게임을 배우는 경우 90도 회전하면 동일한 게임 플레이가 가능합니다.

이것에 대한 연구가 있었습니까?

machine-learning

그렇습니다. 예를 들어 Group Equivariant Convolutional Networks ( code ), Harmonic Networks : Deep Translation and Rotation Equivariance , Deep Rotation Equivariant Network , Convolutional Neural Networks에서 주기적 대칭 악용 등. 아직 야생에서 많이 볼 수는 없습니다.

— Emre

감사합니다! CNN 이외의 작업에 대해 알고 있습니까?

— aidan.plenert.macdonald

아니요, 저는이 틈새에 대한 피상적 인 지식 만 가지고 있습니다. 그럼에도 불구하고 CNN은 자연 환경처럼 보입니다 ...

— Emre

또한 Risi Kondor의 박사 학위 논문, 기계 학습에서의 그룹 이론적 방법 (pdf)

— Emre

위의 Emre의 논평 에서 Risi Kondor의 기계 학습에서 그룹 이론적 방법의 4.4 절 에는 본질적으로 대칭을 갖는 커널 방법을 만드는 방법에 대한 자세한 정보와 증거가 있습니다. 나는 그것을 직관적으로 직관적 인 방법으로 요약 할 것입니다 (수학자가 아닌 물리학 자입니다!).

대부분의 ML 알고리즘에는 다음과 같은 행렬 곱셈이 있습니다.

\begin{aligned} s_{i} & = \sum_{j} W_{i j} x_{j} \\ = \sum_{j} W_{i j} ({\vec{e}}_{j} \cdot \vec{x}) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~x_j \\ &= \sum_j W_{ij}~(\vec{e}_j \cdot \vec{x}) \end{align}$ 와

\vec{x}

$\vec{x}$ 입력되고

W_{i j}

$W_{ij}$ 우리가 훈련하고 싶은 무게입니다.

커널 방법

커널 메소드 의 영역을 입력하고 알고리즘이

\begin{aligned} s_{i} & = \sum_{j} W_{i j} k (e_{j}, x) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~k(e_j,~x) \end{align}$ 이제 우리는 일반화

x, e_{j} \in X

$x, e_j \in \mathcal{X}$ .

그룹을 고려 $G$ 그 행동 $\mathcal{X}$ 통하다 $x \rightarrow T_g(x)$ ...에 대한 $g \in G$ . 이 그룹에서 알고리즘을 변경하지 않는 간단한 방법은 커널을 만드는 것입니다.

\begin{aligned} k^{G} (x, y) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \end{aligned}

$\begin{align} k^G(x, y) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_g(y)) \end{align}$ 와

k (x, y) = k (T_{g} (x), T_{g} (y))

$k(x, y) = k(T_g(x), T_g(y))$ .

그래서,

\begin{aligned} k^{G} (x, T_{h} (y)) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g h} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (T_{g} (x), y) \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{gh}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{g}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(T_{g}(x), y) \end{align}$

에 대한 $k(x, y) = x \cdot y$ 모든 단일 표현에 적용되는

\begin{aligned} k^{G} (x, T_{h} (y)) & = [\frac{1}{| G |} \sum_{g \in G} T_{g} (x)] \cdot y \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \left[ \frac{1}{|G|} \sum_{g \in G} T_{g}(x) \right] \cdot y \end{align}$

알고리즘으로 입력을 대칭 할 수있는 변환 매트릭스를 제공합니다.

SO (2) 예

실제로 매핑 된 그룹 만 $\frac{\pi}{2}$ 단순화를위한 회전.

데이터에 대해 선형 회귀 분석을 실행하겠습니다 $(\vec{x}_i, y_i) \in \mathbb{R}^2 \times \mathbb{R}$ 우리는 회전 대칭을 기대합니다.

최적화 문제는

\begin{aligned} min_{W_{j}} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = \sum_{j} W_{j} k_{G} (e_{j}, x_{i}) + b_{i} \end{aligned}

$\begin{align} \min_{W_{j}} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= \sum_j W_{j} k_G(e_j, x_i) + b_i \end{align}$

커널 $k(x, y) = \| x - y \|^2$ 만족시키다 $k(x, y) = k(T_g(x), T_g(y))$ . 당신은 또한 사용할 수 있습니다 $k(x, y) = x \cdot y$ 그리고 다양한 커널.

그러므로,

\begin{aligned} k_{G} (e_{j}, x_{i}) & = \frac{1}{4} \sum_{n = 1}^{4} ‖ R (n π / 2) {\vec{e}}_{j} - {\vec{x}}_{i} ‖^{2} \\ = \frac{1}{4} \sum_{n = 1}^{4} (\cos (n π / 2) - {\vec{x}}_{i 1})^{2} + (\sin (n π / 2) - {\vec{x}}_{i 2})^{2} \\ = \frac{1}{4} [2 {\vec{x}}_{i 1}^{2} + 2 {\vec{x}}_{i 2}^{2} + (1 - {\vec{x}}_{i 1})^{2} + (1 - {\vec{x}}_{i 2})^{2} + (1 + {\vec{x}}_{i 1})^{2} + (1 + {\vec{x}}_{i 2})^{2}] \\ = {\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1 \end{aligned}

$\begin{align} k_G(e_j, x_i) &= \frac{1}{4} \sum_{n=1}^4 \| R(n\pi/2)~\vec{e}_j - \vec{x}_i \|^2 \\ &= \frac{1}{4} \sum_{n=1}^4 ( \cos(n\pi/2) - \vec{x}_{i1} )^2 + ( \sin(n\pi/2) - \vec{x}_{i2} )^2 \\ &= \frac{1}{4} \left[ 2 \vec{x}_{i1}^2 + 2 \vec{x}_{i2}^2 + (1 - \vec{x}_{i1} )^2 + (1 - \vec{x}_{i2} )^2 + (1 + \vec{x}_{i1} )^2 + (1 + \vec{x}_{i2} )^2 \right] \\ &= \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \end{align}$

우리는 합계 할 필요가 없습니다. $j$ 둘 다 동일하기 때문입니다. 그래서 우리의 문제는

\begin{aligned} min_{W} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = W [{\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1] + b_{i} \end{aligned}

$\begin{align} \min_{W} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= W \left[ \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \right] + b_i \end{align}$

예상되는 구면 대칭을 생성합니다!

틱택 토

예제 코드는 여기에서 볼 수 있습니다 . 대칭을 인코딩하고 사용하는 행렬을 만드는 방법을 보여줍니다. 실제로 실행하면 이것이 나쁘다는 점에 유의 하십시오! 현재 다른 커널과 작업 중입니다.

— aidan.plenert.macdonald
소스

잘 했어, 아이 단! 시간이 있으면 더 자세한 블로그 게시물을 작성할 수 있습니다. 커뮤니티가 가장 관심이 있습니다.

— Emre

어떤 커뮤니티를 언급하고 있는지 잘 모르지만 더 많이 쓰기 시작했습니다. 데이터 세트가 주어진 최적의 커널을 추정하는 방법을 찾고 싶었습니다. 따라서 커널 공간에서 엔트로피를 최적화하여 대칭 적으로 제약을 받고 최대의 엔트로피 (즉, 정보)와 같은 새로운 기능을 직관적으로 얻을 수있었습니다. 그것이 올바른 접근인지 여부입니다. 말할 수 없습니다. 단지 경고, 수학은 지금 약간의 해킹 작업이며 통계 시스템에서 곧바로 나옵니다. overleaf.com/read/kdfzdbyhpbbq

— aidan.plenert.macdonald

대칭 그룹을 알 수 없을 때 의미있는 접근 방법이 있습니까?

— leitasat

@leitasat 그룹을 모른다면 어떻게 대칭인지 어떻게 알 수 있습니까?

— aidan.plenert.macdonald

데이터에서 @ aidan.plenert.macdonald. 각각 100 장의 사진 1000 세트가 있고 각 세트 내에 다른 관점에서 하나의 물체의 사진이 있다고 가정 해 봅시다. 어떤 알고리즘이 SO (3) 대칭의 "아이디어를 배우고"이전에 보지 못한 객체에서 사용할 수 있습니까?

— leitasat

이것은 기계 학습에 적용된 불변 이론 에 대한 연구 일뿐입니다.

— aidan.plenert.macdonald
소스