«hessian» 태그된 질문

이것은 잠시 동안 나를 괴롭 혔으며 온라인에서 만족스러운 답변을 찾을 수 없으므로 여기에 간다. 볼록 최적화에 대한 일련의 강의를 검토 한 후, Newton의 방법은 솔루션에 대한 보증을 제공 할 수 있고, 불변이고, 대부분 수렴하기 때문에, 전 세계적으로 최적의 솔루션을 찾기 위해 기울기 하강보다 훨씬 우수한 알고리즘 인 것 같습니다. 훨씬 …

132 machine-learning  optimization  gradient-descent  hessian 

만약 Hessians가 최적화에 너무 좋다면 (예를 들어 Newton의 방법 참조 ) 왜 거기서 멈추는가? 3 차, 4 차, 5 차 및 6 차 도함수를 사용하자 왜 안돼?

29 optimization  gradient-descent  hessian 

xgboost에서 min_child_weight 매개 변수 의 정의 는 다음과 같습니다. 어린이에게 필요한 인스턴스 가중치 (헤 시안)의 최소 합계. 트리 분할 단계에서 인스턴스 가중치의 합계가 min_child_weight보다 작은 리프 노드가 생성되면 빌드 프로세스는 추가 분할을 포기합니다. 선형 회귀 모드에서 이는 단순히 각 노드에 있어야하는 최소 인스턴스 수에 해당합니다. 알고리즘이 클수록 더 보수적입니다. 나는 …

23 machine-learning  xgboost  hessian