패턴인식과 머신러닝21 [베이지안 딥러닝] Ch4.5 Linear Models for Classification - Bayesian Logistic Regression 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear classification Probabilistic generative model Probabilistic discriminative model The Laplace Approximation Bayesian Logistic Regression 로지스틱 회귀의 베이지안적 방법론에 대해 살펴보도록 하자. 로지스틱 회귀의 정확한 베이지안적 추론은 다루기가 아주 어렵다 사후 분포를 계산하기 위해서는 사전 분포와 가능도 함수를 곱한 값을 정규화해야 하는데, 가능도 함수 그 자체가 각 데이터 포인트마다 로지스틱 시그모이드 함수를 모두 곱한 값에 해당하기 때문이다. 예측 분포를 계산하는 것 역시 비슷한 .. 2021. 4. 4. [베이지안 딥러닝] Ch4.4 Linear Models for Classification - The Laplace Approximation 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Discriminant Functions Probabilistic Generative Models Probabilistic Discriminative Models The Laplace Approximation Bayesian Logistic Regression 베이지안 방법론을 적용한 logistic regression에 대해 추후 논의할 것인데, 이는 linear regression에 대한 베이지안 방법보다 더 복잡함. 특히, posterior distribution이 더 이상 gaussian distribution이 아니므로 매개변수 $\mathbf{w}$에 대해서 정확히 적분할 수가 없다. 따라서 .. 2021. 2. 20. [베이지안 딥러닝] Ch3.5 The Evidence Approximation 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear regressoin (MLE) Bias-Variance Decomposition Bayeisan linear regression Bayesian model comparison The evidence approximation Limit, of fixed basis functions The Evidence Approximation (증거 근사) ▶ Intro Need to marginalize with respect to hyper-parameters such as $\alpha$, $\beta$ $$p(t|\mathbf{t}) = \int \int \int p(t | \mathbf{w}, \b.. 2021. 2. 18. [베이지안 딥러닝] Ch3.3 Bayesian linear regression 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear regressoin (MLE) Bias-Variance Decomposition Bayeisan linear regression Bayesian model comparison The evidence approximation Limit, of fixed basis functions Bayesian linear regression ▶ Why Bayesian approach is needed? Model complexity (such as number of basis functions) needs to be determined according to data size. Cross validatio.. 2021. 2. 13. [베이지안 딥러닝] Appendix. Calculus of Variations (변분법) 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. 기존 미분에서 주로 다루는 문제 중 하나로 함수 $y(x)$를 최대화하거나 최소화하는 $x$값을 찾는 것이 있다. 이와 비슷하게 Calculus of Variations(변분법)에서는 범함수 $F[y]$를 최대화하거나 최소화하는 함수 $y(x)$를 찾는 문제를 다룬다. 모든 가능한 함수 $y(x)$들 중에서 $F[y]$를 최대화하거나 최소화하는 특정 함수를 찾는 것이다. 오일러 라그랑주 공식을 이용해서 구할 수 있는데. 우선 오일러 라그랑주 공식 [식 (2)]을 살펴보자. Therrem 1.1 The minimizing functional of the following objective function $$F(y) = .. 2021. 2. 8. [베이지안 딥러닝] Ch3.2 Bias-Variance Decomposition 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear regressoin (MLE) Bias-Variance Decomposition Bayeisan linear regression Bayesian model comparison The evidence approximation Limit, of fixed basis functions Bias variance decomposition 앞에서는 MLE를 이용하는 경우 overfitting이 발생한다는 단점이 있었다. 베이지안 방법론을 바탕으로 각각의 매개변수들을 주변화할 경우에는 overfitting이 발생하지 않는다. 이번 장에서는 베이지안 관점에서의 모델 복잡도에 대해서 더 깊이 살펴보려 한다... 2021. 2. 7. [베이지안 딥러닝] Ch2.3 The Gaussian Distribution 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview The Gaussian distribution Conditional Gaussian distributions Marginal Gaussian distributions Bayes’ theorem for Gaussian variables Maximum likelihood for the Gaussian Sequential estimation Bayesian inference for the Gaussian The Gaussian Distribution ▶ Multi-dimensional Gaussian distribution $$N({\bf x}|{\pmb \mu}, {\bf \Sigma}) = \dfrac{1.. 2021. 1. 19. [베이지안 딥러닝] Ch3.1 Linear models for Regression (MLE) 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear regressoin (MLE) Bias-Variance Decomposition Bayeisan linear regression Bayesian model comparison The evidence approximation Limit, of fixed basis functions Linear regression ▶ Regression problem Given a training data set comprising $N$ observations $\bf{x}_n$ together with corresponding target values $\{t_n\}$, we would like to pre.. 2021. 1. 18. [베이지안 딥러닝] Ch4.3 Linear Models for Classification - Probabilistic Discriminative Models 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear classification Probabilistic generative model Probabilistic discriminative model The Laplace Approximation Bayesian Logistic Regression Ch4.2에서는 class가 두 개인 분류 문제의 경우에 다양한 종류의 class conditional distribution $p(\mathbf{x}|C_k)$에 대하여 class $C_1$의 $p(C_1|\mathbf{x})$(사후확률)을 $\mathbf{x}$의 선형 함수에 대한 logistic sigmoid 함수로 표현할 수 있었다. Classi.. 2020. 12. 7. [베이지안 딥러닝] Ch4.2 Linear Models for Classification - Probabilistic Generative Models 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Ch4.1에서는 분류를 위한 discriminant function을 이용한 접근법을 다뤘으며, 이번 Ch4.2에서는 클래스별 conditional distribution인 $p(\mathbf{x}|C_k)$와 클래스의 prior distribution인 $p(C_k)$를 모델하고, 베이지안 정리를 적용하여 $p(C_k|\mathbf{x})$ (posterior probability)를 계산해 내는 방식의 probabilistic generative models을 사용할 것이다. Overview Linear classification Probabilistic generative model Probabilistic dis.. 2020. 12. 3. [베이지안 딥러닝] Ch4.1 Linear Models for Classification - Introduction , Discriminant Functions 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. 3장에서 regression model들 중에서 해석/계산적 단순한 성질을 가진 모델에 살펴보았는데, 4장에서는 classification 문제를 푸는 데 비슷한 방법(MLE, Bayesian)을 이용해 접근할 것이다. Overview Linear classification (Discriminant functions) Probabilistic generative model Probabilistic discriminative model The Laplace Approximation Bayesian Logistic Regression Linear classification ▶ Classification problem Tak.. 2020. 11. 18. [베이지안 딥러닝] Introduction - Decision Theory and Information Theory I 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Decison Theory Information Theory Decision problem 패턴 인식 문제를 풀 때는 불확실성이 존재하는 상황에서 의사 결정을 내려야 하는 경우가 많다. 이런 상황에서 결정 이론과 확률론을 함께 사용하면 최적의 의사 결정을 내릴 수 있다. We observe random vector $\mathbf{x}$ and try to determine the probability of $C_k$ which represents the probability of an event belongs to the class $k$.. Determining $p(\mathbf{x}, C_k )$.. 2020. 9. 29. 이전 1 2 다음
