Ch5.1 Linear Discriminant Functions - Introduction

 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다.

 

5.1 Introduction

---

▶ Assume

• We know the proper forms for the discriminant functions (cf. probability densities).
• We use the samples to estimate the values of parameters of the classifier.
• None of various procedures for determining discriminant functions requires knowledge of the forms of underlying probability distributions – nonparametric 관점.

 samples로부터 discriminant function의 parameters(e.g. regression의 경우 : 기울기, 절편)를 구할 수 있지만, sample의 distribution을 parametetric하게 규정하는 것은 아니므로 nonparametric 관점이다. (헷갈리지 말것)

 

▶ Linear Discriminant Functions

• Linear in the components of $\mathbf{x}$, or (e.g. $\mathbf{x}$에 대한 선형식)
• Linear in some given set of functions of $\mathbf{x}$. (e.g. $\mathbf{x}$를 활용한 함수의 선형식, DNN)
• Have pleasant analytical properties (linear가 가지는 중요한 특징들)
  • Can be optimal if the underlying distributions are cooperative (e.g., Gaussians 
    having equal covariance)
  • We might be willing to sacrifice some performance in order to gain the 
    advantage of the simplicity.
  • Easy to compute.

 

• Problem of finding a linear discriminant function
  
  • Problem of minimizing a criterion function – training error (최적화 필요)
  • It is difficult to derive the minimum-risk linear discriminant
    
    • Several related criterion functions that are analytically more tractable will be investigated.

분류를 위한 기준 함수는 sample risk 또는 training error.

• Much of our attention will be devoted to studying the convergence properties and computational complexities of various gradient descent procedures for minimizing criterion functions.

 주로 기준 함수들을 최소화하기 위한 다양한 경사 하강법을 이용해 수렴 특성과 게산 복잡도를 공부하는 데 주의를 기울일 예정이다.

 

Reference

---

• pattern classification by richard o. duda