Processing math: 100%
본문 바로가기
Pattern Classification [수업]

Ch2.4 Bayesian decision theory - Classifiers, Discriminant Functions and Decision Surfaces

by Keep It Simple, Stupid! 2020. 9. 10.

 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다.

 

 앞 절에서는 이해를 위해 class가 Two-case로 설명했었다. 이번 절에서는 보다 일반적인 class를 설명한다.

2.4 Classifiers, Discriminant Functions and Decision Surfaces


▶ The multicategory case

 패턴 분류기를 표현하는 다양한 방법이 있지만, 가장 쓸만한 방법 중 하나는 "discriminant functions(판별 함수)"들에 의한 것이다.

gi(x),i=1,...,c 

 분류기가 만약 다음과 같다면 

 특징 벡터 x를 클래스 wi에 할당한다. 따라서 분류기는 c개의 판별 함수를 계산하고 최대 판별식에 해당하는 class를 선택하는 네트워크(network) 또는 기계(machine)로 간주된다. 

[Figure 2.5] 

 bayes classifier는 쉽고 자연스럽게 위와 같은 방법으로 표현된다. 

  • The choice of discriminant function is not uniqe (여러 방법이 있음)

gi(x)=R(αi|x)(for risk)

gi(x)=P(wi|x)(for minimum-error-rate)

  • Modification of the discriminant function is possible

 판정에 영향을 주지 않고 항상 모든 판별 함수들은 같은 양의 상수로 곱하거나 같은 상수를 더해서 바꿀 수 있다. 더 일 반적으로는, 모든 gi(x)단조 증가 함수 f()에 의해 f(gi(x))로 대체하면, 그로 인한 분류는 변하지 않는다. 이러한 방식으로 계산 단순화로 이끌 수 있다. (논문에서 자주 사용하지만, 자세한 설명은 없음)

단조 증가 함수의 성질을 이용한 분류기 계산 간소화

 판별 함수들은 다양한 형태로 쓸 수 있지만, 판정 룰들은 등가적이다. 모든 판정 룰의 효과는 특징 공간을 c개의 판정 영역 R1,..,Rc로 나누는 것이다. 만일 모든 ji에 대해 gi(x)>gj(x)이라면, xRi에 있으며 판정 룰은 xwi에 할당할 것을 말한다. 영역들은 가장 큰 판별 함수들 간에 동률이 일어나는 특징 공간의 평면인 decision boundary(판정 경계)들에 의해 분리된다. 

[Figure 2.6]

 

▶ The two-category case 

 the two-category는 앞에서 다룬 multi-category case의 special한 case

  • Dichotomizer 라고 불림

 두 판별 함수 g1g2를 사용해서 만일 g1>g2이면 xw1에 할당하는 대신에, 단일 판별 함수를 다음과 같이 정의함

 위의 판정 룰을 사용하는게 보편적임 (편리를 위해). 즉 위 판별 함수로부터 g(x)>0이면 w1으로 판정, 그렇지 않으면 w2로 판정한다.  

 

다음 Ch2.5에서는 "THE NORMAL DENSITY" 를 다루도록 하겠습니다.

 

Reference