Ch2.3 Bayesian decision theory - Minimum-error-rate Classification

 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다.

 

2.3 Minimum-error-rate Classification

---

 분류 문제에서 state of nature는 보통 다른 $c$개의 클래스 중 하나와 관련되며, 행동 $\alpha_i$는 보통 state of nature가 $w_i$인 판정으로 해석된다. 만일 행동 $\alpha_i$가 취해지고, Ture를 가지는 state of nature가 $w_j$이면, 그 판정은 만일 $i=j$는 옳고, $i \neq j$이면 에러이다. 에러를 피하려면 에러 확률, 즉 에러율을 최소화하는 판정 룰을 찾는게 당연하다. 

▶ Zero-one loss function

$$\lambda\left(\alpha_{i} \mid \omega_{j}\right)=\left\{\begin{array}{ll} 0 & l=J \\ 1 & i \neq j \end{array} \quad i, j=1, \ldots, c\right.$$

• No loss to a correct decision
• A unit loss to any error : equally costly
• Risk

 

 위 내용을 $w_i$로 판정되는 입력 공간의 영역은 $R_i$로 표기한다.

▶ The likelihood ratio $p(\mathbf{x}|w_1)$ / $p(\mathbf{x}|w_2)$

[Figure 1] Penalty에 따른 threshold 변화 

 추가적으로 $\lambda_{11}$ 및 $\lambda_{22}$의 손실은 아주 작은 값으로 가정하므로, fix된 값이라고 생각해도 무관하다. (잘 예측했으니, 문제 없다고 판단)

 

 다음 Ch2.4에서는 "Classifiers, Discriminant Functions and Decision Surfaces" 를 다루도록 하겠습니다. 

 

Reference

---

• pattern classification by richard o. duda