[베이지안 딥러닝] Ch4.5 Linear Models for Classification - Bayesian Logistic Regression

2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다.

 

Overview

---

• Linear classification
• Probabilistic generative model 
• Probabilistic discriminative model
• The Laplace Approximation 
• Bayesian Logistic Regression

 로지스틱 회귀의 베이지안적 방법론에 대해 살펴보도록 하자. 로지스틱 회귀의 정확한 베이지안적 추론은 다루기가 아주 어렵다 사후 분포를 계산하기 위해서는 사전 분포와 가능도 함수를 곱한 값을 정규화해야 하는데, 가능도 함수 그 자체가 각 데이터 포인트마다 로지스틱 시그모이드 함수를 모두 곱한 값에 해당하기 때문이다. 예측 분포를 계산하는 것 역시 비슷한 이유로 다루기가 매우 어렵다 따라서 여기서는 베이지안 로지스틱 회귀 문제에 라플라스 근사 적용 필요

4.5.1 Laplace approximation

• Gaussian representation for the posterior distribution

[Figure 1] Gaussian approximation to the posterior distribution

[Figure 2] by second derivatives of the negative log-likelihood

 사후 분포의 가우시안 근사치를 구하였으니 이제는 실제로 예측을 시행하기 위해서 이 분포에 대해 주변화를 시행하는 것만 남았다.

 

4.5.2 Predictive distribution 

• Gaussian representation for the posterior distribution

• Note that $p(a)$ is the probability density function which is obtained by the integrating out all directions orthogonal to $\phi$, which is also a Gaussian.
• Mean and Variance of $a = \mathbf{w}^T\phi$

[Figure 3] Predictive distribution

 

 

 Reference

---

• Pattern Recognition and Machine Learning
• Meaning of Lagrange multiplier (Khan Academy | 3blue1brown)
• PRML Example Code (git) : github.com/ctgk/PRML