[베이지안 딥러닝] Ch3.5 The Evidence Approximation

2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다.

 

Overview

---

• Linear regressoin (MLE)
• Bias-Variance Decomposition
• Bayeisan linear regression 
• Bayesian model comparison
• The evidence approximation
• Limit, of fixed basis functions

 

The Evidence Approximation (증거 근사)

---

▶ Intro

• Need to marginalize with respect to hyper-parameters such as $\alpha$, $\beta$

$$p(t|\mathbf{t}) = \int \int \int p(t | \mathbf{w}, \beta) p(\mathbf{w} | \mathbf{t}, \alpha, \beta) p(\alpha, \beta | \mathbf{t}) d \mathbf{w} d \alpha d \beta \tag{1}\label{1} $$

 완전 베이지안 관점을 바탕으로 한 선형 기저 함수 모델에 대해 논의, 여기서는 hyperparamete인 $\alpha$, $\beta$에 대한 사전 분포를 도입하고 이것들과 $\mathbf{w}$에 대한 marginalization을 통해서 에측을 한다. $\mathbf{w}$ 에 대해서 적분하거나 hyperparameters에 대해서 적분하는 것은 가능하다. 그러나 이러한 변수들 모두에 대해서 완벽한 주변화를 하는 것은 해석적으로 불가능에 가까운 일!  대신에 parameter의 marginal likelihood function (주변 가능도 함수)를 극대화함으로써 결정되는 값으로 hyperparameter를 설정하는 근사법에 대해 논의함

• Instead, assume that posterior distribution of $\hat{\alpha}$, $\hat{\beta}$ is sharply peaked around values