본문 바로가기

패턴인식과 머신러닝/Ch 03. Linear Models for Regression4

[베이지안 딥러닝] Ch3.5 The Evidence Approximation 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear regressoin (MLE) Bias-Variance Decomposition Bayeisan linear regression Bayesian model comparison The evidence approximation Limit, of fixed basis functions The Evidence Approximation (증거 근사) ▶ Intro Need to marginalize with respect to hyper-parameters such as $\alpha$, $\beta$ $$p(t|\mathbf{t}) = \int \int \int p(t | \mathbf{w}, \b.. 2021. 2. 18.
[베이지안 딥러닝] Ch3.3 Bayesian linear regression 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear regressoin (MLE) Bias-Variance Decomposition Bayeisan linear regression Bayesian model comparison The evidence approximation Limit, of fixed basis functions Bayesian linear regression ▶ Why Bayesian approach is needed? Model complexity (such as number of basis functions) needs to be determined according to data size. Cross validatio.. 2021. 2. 13.
[베이지안 딥러닝] Ch3.2 Bias-Variance Decomposition 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear regressoin (MLE) Bias-Variance Decomposition Bayeisan linear regression Bayesian model comparison The evidence approximation Limit, of fixed basis functions Bias variance decomposition 앞에서는 MLE를 이용하는 경우 overfitting이 발생한다는 단점이 있었다. 베이지안 방법론을 바탕으로 각각의 매개변수들을 주변화할 경우에는 overfitting이 발생하지 않는다. 이번 장에서는 베이지안 관점에서의 모델 복잡도에 대해서 더 깊이 살펴보려 한다... 2021. 2. 7.
[베이지안 딥러닝] Ch3.1 Linear models for Regression (MLE) 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear regressoin (MLE) Bias-Variance Decomposition Bayeisan linear regression Bayesian model comparison The evidence approximation Limit, of fixed basis functions Linear regression ▶ Regression problem Given a training data set comprising $N$ observations $\bf{x}_n$ together with corresponding target values $\{t_n\}$, we would like to pre.. 2021. 1. 18.