패턴인식6 [베이지안 딥러닝] Ch2.3 The Gaussian Distribution 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview The Gaussian distribution Conditional Gaussian distributions Marginal Gaussian distributions Bayes’ theorem for Gaussian variables Maximum likelihood for the Gaussian Sequential estimation Bayesian inference for the Gaussian The Gaussian Distribution ▶ Multi-dimensional Gaussian distribution $$N({\bf x}|{\pmb \mu}, {\bf \Sigma}) = \dfrac{1.. 2021. 1. 19. [베이지안 딥러닝] Ch4.1 Linear Models for Classification - Introduction , Discriminant Functions 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. 3장에서 regression model들 중에서 해석/계산적 단순한 성질을 가진 모델에 살펴보았는데, 4장에서는 classification 문제를 푸는 데 비슷한 방법(MLE, Bayesian)을 이용해 접근할 것이다. Overview Linear classification (Discriminant functions) Probabilistic generative model Probabilistic discriminative model The Laplace Approximation Bayesian Logistic Regression Linear classification ▶ Classification problem Tak.. 2020. 11. 18. Ch5.2 Linear Discriminant Functions - Linear Discriminant Functions and Decision Surfaces 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 5.2 Linear Discriminant Functions and Decision Surfaces $\mathbf{x}$의 요소들의 선형 결합인 판별 함수는 다음과 같이 쓸 수 있다. $$g(\mathbf{x})=\mathbf{w}^T \mathbf{x} + \omega_0 \tag{1}\label{1}$$ $\mathbf{x}$ : weight vector $\omega$ : bias (or threshold weight) Ch2에서 보았듯이 일반적인 $c$개의 class 분류라면 $c$개의 판별 함수가 있을 것이다. ▶ The Two-Category Case (cont.) 식 (1) 형태의 판별 함.. 2020. 10. 29. Ch2.6 Bayesian decision theory - Discriminant functions for the normal density 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 2.6 Discriminant functions for the normal density 2.4.1절에서 최소 에러율 분류가 아래의 판별 함수들을 사용해서 달성될 수 있음을 보았었다. $$ g_i(\mathbf{x}) = \ln p(\mathbf{x}|w_i) + \ln P(w_i)$$ 위 식에서 우항의 첫번째 식(likelihood )인 $p(\mathbf{x}|w_i)$가 Multivariate normal distribution (다변 정규 분포)를 따른다고 하면, 즉, $p(\mathbf{x}|w_i) \sim N(\mu_i, \sum_{i})$ 이라면 아래 식을 전개할 수 있다. $$p(\mat.. 2020. 9. 17. Ch2.3 Bayesian decision theory - Minimum-error-rate Classification 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 2.3 Minimum-error-rate Classification 분류 문제에서 state of nature는 보통 다른 $c$개의 클래스 중 하나와 관련되며, 행동 $\alpha_i$는 보통 state of nature가 $w_i$인 판정으로 해석된다. 만일 행동 $\alpha_i$가 취해지고, Ture를 가지는 state of nature가 $w_j$이면, 그 판정은 만일 $i=j$는 옳고, $i \neq j$이면 에러이다. 에러를 피하려면 에러 확률, 즉 에러율을 최소화하는 판정 룰을 찾는게 당연하다. ▶ Zero-one loss function $$\lambda\left(\alpha_{i} \m.. 2020. 9. 10. Ch2.1 Bayesian decision theory - Introduction 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 2.1 Introduction "Bayes decision theory"는 패턴 인식 문제에 대한 중요한 통계적(Statistical) 접근 방식임. This approach is based on quantifying the tradeoffs between various classification decisions using probability and the costs that accompany such decisions. 즉 , 확률을 이용하는 다양한 분류 판정들과 그러한 판정들에 수반하는 비용간의 절충을 정량화하는 것에 기반함 이 방식은 판정 문제가 확률론적 방식으로 표현되며, 모든 관련 확률 값들.. 2020. 9. 8. 이전 1 다음
