2
GELU 활성화 란 무엇입니까?
I가 겪고있는 BERT 종이 사용 겔루 (가우스 오류 선형 단위) 와 같은 상태 방정식 이는GELU(x)=xP(X≤x)=xΦ(x).GELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tanh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)]) 방정식을 단순화하고 대략적인 방법을 설명해 주시겠습니까?