TF-IDF 로그에서 로그 사용 이해

나는 읽고 있었다:

https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition

그러나 수식이 왜 원래대로 구성되었는지 정확히 이해할 수없는 것 같습니다.

내가 이해하는 것 :

iDF는 어떤 수준에서 용어 S가 각 문서에 나타나는 빈도를 측정해야하며, 용어가 더 자주 나타날수록 가치가 감소합니다.

그 관점에서

$$iDF(S) = \frac{\# \text{ of Documents}}{\# \text{ of Documents containing S}}$$

또한 용어 빈도는 다음과 같이 올바르게 설명 될 수 있습니다.

$$tf(S,D) = \frac{\# \ \text{of Occurrences of S in document D}}{\# \ \text{maximum number of occurrences for any string Q in document D}}$$

그럼 측정

$$iDF(S) \times tf(S,D)$$

어떤 식 으로든 주어진 문서에서 용어가 얼마나 자주 나타나는지, 그리고 해당 용어가 문서 세트에서 얼마나 독특한 지에 비례합니다.

내가 이해하지 못하는 것

그러나 주어진 공식은 그것을

$$\left( \log(iDF(S)) \right) \left( \frac{1}{2} + \log(\frac{1}{2} tf(S,D)) \right)$$

정의에 설명 된 로그의 필요성을 이해하고 싶습니다. 왜, 그들은 거기에 있습니까? 그들은 어떤 측면을 강조합니까?

강조된 측면은 용어 또는 문서의 관련성이 용어 (또는 문서) 빈도에 비례하여 증가하지 않는다는 것입니다. 따라서 서브 리니어 함수를 사용하면이 효과를 버릴 수 있습니다. 이를 위해 매우 크거나 아주 작은 값 (예 : 매우 드문 단어)의 영향도 확장됩니다. 최종적으로 대부분의 사람으로 직관적 인식 스코어링 함수가 될 다소 상이한 확률 것 대수를 이용하여 첨가제 독립적 에서 용어 더처럼하는 입니다.로그 ( P ( A , B ) ) = 로그 ( P ( A ) ) + 로그 ( P ( B ) $P(A, B) = P(A) \, P(B)$$\log(P(A,B)) = \log(P(A)) + \log(P(B))$

Wikipedia 기사에 링크 된 것처럼 TF-IDF 의 정당성 은 여전히 ​​잘 확립되어 있지 않습니다. 우리가 현실 세계로 옮기고 자하는 엄격한 개념이 아니라 엄격하게 만들고자하는 것은 휴리스틱입니다. @ Anony-Mousse가이 문제에 대해 아주 잘 읽은 것처럼 Robertson의 이해하는 역 문서 빈도 이해 : IDF에 대한 이론적 논증 . 전체 프레임 워크에 대한 광범위한 개요를 제공하고 TF-IDF 방법론을 검색어의 관련 가중치에 적용하려고 시도합니다.