Ch2.4 Bayesian decision theory - Classifiers, Discriminant Functions and Decision Surfaces

 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다.

 

 앞 절에서는 이해를 위해 class가 Two-case로 설명했었다. 이번 절에서는 보다 일반적인 class를 설명한다.

2.4 Classifiers, Discriminant Functions and Decision Surfaces

---

▶ The multicategory case

 패턴 분류기를 표현하는 다양한 방법이 있지만, 가장 쓸만한 방법 중 하나는 "discriminant functions(판별 함수)"들에 의한 것이다.

$$g_{i}(\mathbf{x}), \qquad i = 1, ... , c$$ 

 분류기가 만약 다음과 같다면 

 특징 벡터 $\mathbf{x}$를 클래스 $w_i$에 할당한다. 따라서 분류기는 $c$개의 판별 함수를 계산하고 최대 판별식에 해당하는 class를 선택하는 네트워크(network) 또는 기계(machine)로 간주된다. 

[Figure 2.5] 

 bayes classifier는 쉽고 자연스럽게 위와 같은 방법으로 표현된다. 

• The choice of discriminant function is not uniqe (여러 방법이 있음)

$$g_i(\mathbf{x}) = - R (\alpha_i | \mathbf{x}) \qquad \text{(for risk)}$$

$$g_i(\mathbf{x}) = P (w_i | \mathbf{x}) \qquad \text{(for minimum-error-rate)}$$

• Modification of the discriminant function is possible

 판정에 영향을 주지 않고 항상 모든 판별 함수들은 같은 양의 상수로 곱하거나 같은 상수를 더해서 바꿀 수 있다. 더 일 반적으로는, 모든 $g_{i}(\mathbf{x})$를 단조 증가 함수 $f(\cdot)$에 의해 $f(g_{i}(\mathbf{x}))$로 대체하면, 그로 인한 분류는 변하지 않는다. 이러한 방식으로 계산 단순화로 이끌 수 있다. (논문에서 자주 사용하지만, 자세한 설명은 없음)

단조 증가 함수의 성질을 이용한 분류기 계산 간소화

 판별 함수들은 다양한 형태로 쓸 수 있지만, 판정 룰들은 등가적이다. 모든 판정 룰의 효과는 특징 공간을 $c$개의 판정 영역 $R_1, .., R_c$로 나누는 것이다. 만일 모든 $j \neq i$에 대해 $g_i(\mathbf{x}) \gt g_j(\mathbf{x})$이라면, $\mathbf{x}$는 $R_i$에 있으며 판정 룰은 $\mathbf{x}$를 $w_i$에 할당할 것을 말한다. 영역들은 가장 큰 판별 함수들 간에 동률이 일어나는 특징 공간의 평면인 decision boundary(판정 경계)들에 의해 분리된다. 

[Figure 2.6]

 

▶ The two-category case 

 the two-category는 앞에서 다룬 multi-category case의 special한 case

• Dichotomizer 라고 불림

 두 판별 함수 $g_1$와 $g_2$를 사용해서 만일 $g_1 \gt g_2$이면 $\mathbf{x}$를 $w_1$에 할당하는 대신에, 단일 판별 함수를 다음과 같이 정의함

 위의 판정 룰을 사용하는게 보편적임 (편리를 위해). 즉 위 판별 함수로부터 $g(\mathbf{x}) \gt 0$이면 $w_1$으로 판정, 그렇지 않으면 $w_2$로 판정한다.  

 

다음 Ch2.5에서는 "THE NORMAL DENSITY" 를 다루도록 하겠습니다.

 

Reference

---

• pattern classification by richard o. duda