통계, 선형 대수 및 기계 학습에서 고전적인 표기법은 무엇입니까? 그리고이 표기법들 사이의 관계는 무엇입니까?

우리가 책을 읽을 때, 표기법을 이해하는 것은 내용을 이해하는 데 매우 중요한 역할을합니다. 불행히도, 다른 커뮤니티는 모델의 공식화와 최적화 문제에 대해 다른 표기법을 가지고 있습니다. 여기에 몇 가지 공식 표기법을 요약하고 가능한 이유를 제시 할 수 있습니까?

선형 대수 문학에서 고전 서적은 Strang의 선형 대수학 소개 입니다. 이 책에서 가장 많이 사용되는 표기법은

A x = b

$A x=b$

여기서 A는 , 계수 매트릭스는 , 은 IS 해결해야 할 변수 및 의 벡터이고, 식의 우측 . 이 책이이 표기법을 선택 하는 이유 는 선형 대수학의 주요 목표는 선형 시스템을 풀고 벡터 가 무엇인지 알아내는 것입니다 . 이러한 공식이 주어지면 OLS 최적화 문제는 $A$ $x$ $b$ $x$

\underset{x}{minimize} ‖ A x - b ‖^{2}

$\underset{x}{\text{minimize}}~~ \|A x-b\|^2$

통계 또는 기계 학습 문맹 (책 통계 학습의 요소에서 )에서 사람들은 다른 표기법을 사용하여 동일한 것을 나타냅니다.

X β = y

$X \beta= y$

여기서 $X$ 은 IS 데이터 매트릭스 , $\beta$ 는 IS 계수들 또는 가중치 학습을 배울 수 , $y$ 응답이다. 사람들이 이것을 사용 하는 이유 는 통계 또는 기계 학습 커뮤니티의 사람들이 데이터 중심 이기 때문에 데이터 와 응답 이 $X$ 와 $y$ 를 사용 하여 나타내는 가장 흥미로운 것 입니다.

이제 가능한 모든 혼란이있을 수 있습니다. 첫 번째 방정식의 는 두 번째 방정식의 와 같습니다. 그리고 두 번째 방정식에서 를 풀 필요가 없습니다. 또한 용어 : 는 선형 대수의 계수 행렬이지만 통계의 데이터입니다. 는 "계수"라고도합니다. $A$ $X$ $X$ $A$ $\beta$

또한 $X \beta=y$ 는 사람들이 기계 학습에 널리 사용되는 것과 정확히 일치하지 않으며 사람들은 모든 데이터 포인트를 요약 하는 반 벡터화 버전을 사용합니다 . 와 같은

min \sum_{i} L (y_{i}, f (x_{i}))

$\min \sum_i \text{L}(y_i,f(x_i))$

그 이유는 확률 적 경사 하강 및 기타 다른 손실 함수에 대해 이야기 할 때 좋기 때문이라고 생각합니다. 또한 간결한 행렬 표기법은 선형 회귀 이외의 다른 문제에서 사라집니다.

로지스틱 회귀 분석을위한 행렬 표기법

누구든지 다른 문헌을 넘는 표기법에 대해 더 많은 요약을 줄 수 있습니까? 이 질문에 대한 현명한 답변이 다른 문헌을 넘는 책을 읽는 사람들에게 좋은 참고 자료로 사용될 수 있기를 바랍니다.

내 예제 및 로 제한하지 마십시오 . 다른 많은 것들이 있습니다. 와 같은 $A x=b$ $X \beta=y$

왜 두 가지 로지스틱 손실 공식 / 표기법이 있습니까?

— hxd1011
소스

표기법은 실제로 일종의 외부 검증 가능한 진실로 존재하지 않습니다. 언어이므로 본질적으로 상황에 따라 재정의 할 수 있습니다. x * b를 쓰고 행렬 x 내적 벡터 b를 의미한다고하면 굵게 표시됩니다.

— Sycorax는 Reinstate Monica

와 는 동등한 표기법을 가지고 있다고 말하고 싶습니다 . 변수 이름 만 변경되었습니다. 일반적으로 필드 내에서도 종이에서 종이까지 변수의 이름을 일관되게 찾을 수 없습니다.

A x = b

$Ax = b$

X β = y

$X \beta = y$

— user20160 2016 년

현재, 이것은 10 개의 공감대, 150 개의 견해를 가지고 있습니다. 가치 있고 유용한 스레드 인 것 같습니다. 더욱이, 그것은 공감 된 답을 가지고있다. 답변이 너무 광범위하지 않다고 생각합니다.

— gung-Monica Monica 복원

@gung에 동의합니다. 커뮤니티는 분명히이 질문에 관심이 있습니다. 나는 다시 열었다.

— Matthew Drury

정기적 인 질문에 비해 너무 광범위하다고 생각합니다. -그러나 이미 CW & 다소 인기가 있기 때문에 거기에있는 4 명에게 다시 열 수 있도록 투표를 추가했습니다.

— Scortchi-Monica Monica 복원

아마도 관련된 질문은 "다른 언어로 사용되는 단어는 무엇이며,이 단어들 사이의 연결은 무엇입니까?"입니다.

표기법은 언어와 같은 의미입니다.

일부 단어에는 지역별 의미가 있습니다. 일부 단어는 널리 이해됩니다.
강력한 국가들이 그들의 언어를 전파하는 것처럼 성공적인 분야와 영향력있는 연구자들은 그들의 표기법을 전파합니다.
언어는 시간이 지남에 따라 진화합니다. 언어에는 역사적 기원과 현대적 영향이 혼합되어 있습니다.

구체적인 질문은 ...

두 사람이 "완전히 다른 표기법"을 따른다는 당신의 주장에 동의하지 않습니다. 두 및 행렬들을 나타 내기 위해 사용 대문자. 그들은하지 않은 것을 다른. $X\boldsymbol{\beta} = \boldsymbol{y}$ $A\mathbf{x} = \mathbf{b}$
머신 러닝은 크고 성숙한 분야 인 통계와 밀접한 관련이 있습니다. 를 사용 하여 데이터 매트릭스를 나타내는 것은 거의 확실하게 읽을 수있는 가장 표준적인 규칙입니다. 하지만 선형 시스템을 해결하기위한 표준입니다, 그건 하지 통계를하는 사람들은 일반 식을 작성하는 방법. 그렇게하면 청중이 더 혼란 스러울 것입니다. 로마에서는... $X$ $A\mathbf{x} = \mathbf{b}$
어떤 의미에서, 수정 된 질문의 핵심은 "문자 를 사용하여 데이터를 나타내고 문자 를 사용하여 풀어야 할 미지의 변수를 나타내는 통계의 역사적 기원은 무엇입니까 ?"입니다. β
- 이것은 통계 학자들에게 질문입니다! 간단히 살펴보면, 영향력있는 영국 통계 학자와 케임브리지 학계의 Udny Yule 은 통계 이론 소개 (1911) 에서 를 사용 하여 데이터를 나타냅니다 . 그는 를 최소화하는 최소 제곱 목표 와 솔루션 로 로 회귀 방정식을 작성 . 그것은 적어도 그때로 돌아갑니다 ... $x$ $x_1 = a + bx_2$ $\sum\left( x_1 - a - bx_2\right)^2$ $b_{12} = \frac{\sum x_1x_2}{\sum x_2^2}$
- 훨씬 더 영향력있는 RA Fisher 는 1925 년 저서의 연구 노동자 통계 방법 에서 종속 변수로 를, 독립 변수로 를 사용했습니다 . (정보와의 링크를 제공하는 @Nick Cox에 대한 도움말입니다.) $y$ $x$

좋은 표기법은 좋은 언어와 같습니다. 가능할 때마다 특정 분야 전문 용어를 사용하지 마십시오. 영어를 말하는 대부분의 사람들이 이해할 수있는 높은 BBC 영어와 동등한 수학으로 작성하십시오. 가능할 때마다 명확하고 널리 이해되는 표기법을 사용하여 작성해야합니다.

— Matthew Gunn
소스

이 아마추어 통계학자는 율 (Yule)이 결코 교수가 아니었다는 비판적인 교정을 제공 할 수있다.

— Nick Cox

math.hawaii.edu/~tom/history/stat.html 이 사본 인 것으로 보입니다. 매개 변수에 대한 그리스어와 변수에 대한 로마자와 같은 체계적인 규칙은 RA 피셔로 인한 것으로 이해하지만 샘플 카이-제곱 통계량의 경우 와 같이 많은 홀드 아웃이 있습니다.

χ^{2}

$\chi^2$

— Nick Cox

Yule과 RA Fisher를 언급하는 @NickCox 환상적인 링크 jeff560.tripod.com/stat.html (나를 위해 ...)! 초기의 회귀의 수학적 기원은 분명히 가우스와 라플라스로 거슬러 올라갑니다. 그러나 완전한 아마추어 검색에서 그들은 다른 표기법을 사용하는 것처럼 보입니다.

— Matthew Gunn

내가 작성한 jeff560.tripod.com/stat.html은 2014 년 업데이트입니다. www.math.hawaii.edu/~tom/history/stat.html은 2007 년 버전의 사본입니다.

— Nick Cox