Ch4.1 Nonparametric techniques - Introduction

 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다.

 

4.1 Nonparametric techniques - Introduction

---

▶ Supervised learning under the assumption that the forms of the underlying density functions were known – Chap. 3

• In most PR applications this assumption is suspect:
• Many practical problems involve multimodal densities, instead of unimodal
• High-dimensional density might be accurately represented as the product of one-dimensional functions?

 Ch3에서는 밀도 함수의 형태들이 알려져 있다는 가정 하에 지도 학습을 다루었다.

• 대부분의 현실에서는 이러한 가정은 보장되지 않는다. 가정된 모델(e.g : 가우시안 분포)들은 실제로 맞닥뜨리는 밀도 함수와 거의 맞지 않기 때문임
• 많은 실제 문제들은 단일 모드 형태(봉이 한개)가 아닌 다중 모드 형태(봉이 여러개)의 밀도들을 가짐
• 고차원의 밀도가 1-차원 함수의 곱으로 정확하게 표현할수 있을 것이라는 희망은 거의 충족되지 않음

이번 장에서는 밀도들의 분포 (model)이 알려져 있다는 가정없이 사용될 수 있는 Nonparametric 기법에 대해 다루고자 한다.

 

▶ Nonparametric procedures that can be used with arbitrary distributions and without the assumption are introduced

• Estimating the density functions $p(\mathbf{x}|\omega_j)$ from sample patterns
• Procedures for directly estimating the a posteriori probabilities $P(\omega_j | \mathbf{x})$.

 패턴인식에서 관심 대상인 비파라미터적 방법에는 몇가지 유형이 존재함

• 샘플 패턴들로부터 밀도 함수 $p(\mathbf{x}|\omega_j)$를 추정 (분류기를 설계할 때 이들로 True density 대체 가능)
• $P(\omega_j | \mathbf{x})$를 직접 추정 (확률 추정을 우회해서 판정 함수들로 직행하는 최근접 이웃 룰 같은 비파라미터적 설계와 관련)

 

Reference

---

• pattern classification by richard o. duda