이진 교차 엔트로피는 두 클래스를 가진 이진 분류 문제에 특화된 손실 함수다. 이는 실제 레이블과 모델이 예측한 두 클래스가 속할 확률 사이의 불일치를 측정한다. 특히, 모델이 확신을 가지고 잘못된 예측을 할 때, 큰 패널티를 부여한다.
이진 교차 엔트로피의 함수식은 아래와 같다.
시그모이드 함수에 의해서 0과 1사이로 계산된 값 y
실제레이블 $t_i$ = 0 or 1
$$ E(w, b) = -\sum_{i=1}^{n} \{t_i \log y_i + (1 - t_i) \log (1 - y_i)\} $$
이진 교차 엔트로피는 모델의 예측 확률이 실제 레이블과 얼마나 잘 일치하는지를 측정하여 모델 성능을 평가하는데 중요한 지표다. 예를 들어, 스팸인지 아닌지, 신용카드 거래가 사기인지 아닌지, 또는 이미지에 특정 객체가 포함되어 있는지를 예측하는 모델을 훈련시킬 때 널리 사용된다.
신경망에서 이진 교차 엔트로피 손실 함수와 시그모이드 활성화 함수의 조합은 이진 분류 문제를 효과적으로 처리하는데 강력한 조합이다. 시그모이드 함수는 실수를 0과 1 사이의 확률 값으로 변환하는데, 이는 이진 교차 엔트로피 함수가 작동하는 예측 확률과 완벽하게 일치한다.
[wikidocs]Binary Cross Entropy
= Maximum Likelihood Estimation (최대우도법, 최우도법, 최대우도추정)
모수적인 데이터 밀도 추정 방법으로써 파라미터 $θ=(θ1,⋯,θm)$으로 구성된 어떤 확률밀도함수 $P(x|θ)$에서 관측된 표본 데이터 집합을 $x=(x1,x2,⋯,xn)$이라 할 때, 이 표본들에서 파라미터 $θ=(θ1,⋯,θm)$를 추정하는 방법이다.
Likelihood Function
주황색 후보 분포에 대해 각 데이터들의 likelihood 기여도를 점선의 높이로 나타냈다. 각 데이터 샘플에서 후보 분포에 대한 높이를 계산해서 모두 곱한 것으로 가능도를 계산할 수 있다. 계산된 높이를 더하지 않고 곱하는 것은 모든 데이터들의 추출이 독립적으로 연달아 일어나는 사건이기 때문이다.