Maximizing Probabilities, Cross Entropy
어떤 값의 분류가 잘 되어있을 확률을 나타낸다. 예를 들자면 아래와 같은 그래프가 있다고 보자. 분리된 선을 기준으로 아래쪽을 파란영역 위 쪽을 붉은 영역이라고 보면 아래는 2개의 Points가 있고 상단에는 3개의 Points가 있다. 이 영역을 다음과 같이 확률로 계산이 가능하다. 우선 하단 파란영역을 보자. 위에 1번 point가 파랑일 확률은? 0.2라고 생각하고, 2번 Point가 파랑일 확률은 0.8로 높을 것이다. 마찬가지로 상단의 3개 points도 각각 0.9, 0.8, 0.1 이라고 생각해 보자. 이 값들을 모두 곱한 값은 아래와 같게 된다. $$ 0.2 * 0.8 * 0.9 * 0.8 * 0.1 = 0.01152 $$ 만약에 모든 포인트가 잘 분류 되었다고 생각해 보자. 상단 poin..