PRML9 [베이지안 딥러닝] Ch4.5 Linear Models for Classification - Bayesian Logistic Regression 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear classification Probabilistic generative model Probabilistic discriminative model The Laplace Approximation Bayesian Logistic Regression 로지스틱 회귀의 베이지안적 방법론에 대해 살펴보도록 하자. 로지스틱 회귀의 정확한 베이지안적 추론은 다루기가 아주 어렵다 사후 분포를 계산하기 위해서는 사전 분포와 가능도 함수를 곱한 값을 정규화해야 하는데, 가능도 함수 그 자체가 각 데이터 포인트마다 로지스틱 시그모이드 함수를 모두 곱한 값에 해당하기 때문이다. 예측 분포를 계산하는 것 역시 비슷한 .. 2021. 4. 4. [베이지안 딥러닝] Ch4.4 Linear Models for Classification - The Laplace Approximation 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Discriminant Functions Probabilistic Generative Models Probabilistic Discriminative Models The Laplace Approximation Bayesian Logistic Regression 베이지안 방법론을 적용한 logistic regression에 대해 추후 논의할 것인데, 이는 linear regression에 대한 베이지안 방법보다 더 복잡함. 특히, posterior distribution이 더 이상 gaussian distribution이 아니므로 매개변수 $\mathbf{w}$에 대해서 정확히 적분할 수가 없다. 따라서 .. 2021. 2. 20. [베이지안 딥러닝] Ch3.2 Bias-Variance Decomposition 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear regressoin (MLE) Bias-Variance Decomposition Bayeisan linear regression Bayesian model comparison The evidence approximation Limit, of fixed basis functions Bias variance decomposition 앞에서는 MLE를 이용하는 경우 overfitting이 발생한다는 단점이 있었다. 베이지안 방법론을 바탕으로 각각의 매개변수들을 주변화할 경우에는 overfitting이 발생하지 않는다. 이번 장에서는 베이지안 관점에서의 모델 복잡도에 대해서 더 깊이 살펴보려 한다... 2021. 2. 7. [베이지안 딥러닝] Ch2.3 The Gaussian Distribution 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview The Gaussian distribution Conditional Gaussian distributions Marginal Gaussian distributions Bayes’ theorem for Gaussian variables Maximum likelihood for the Gaussian Sequential estimation Bayesian inference for the Gaussian The Gaussian Distribution ▶ Multi-dimensional Gaussian distribution $$N({\bf x}|{\pmb \mu}, {\bf \Sigma}) = \dfrac{1.. 2021. 1. 19. [베이지안 딥러닝] Ch4.1 Linear Models for Classification - Introduction , Discriminant Functions 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. 3장에서 regression model들 중에서 해석/계산적 단순한 성질을 가진 모델에 살펴보았는데, 4장에서는 classification 문제를 푸는 데 비슷한 방법(MLE, Bayesian)을 이용해 접근할 것이다. Overview Linear classification (Discriminant functions) Probabilistic generative model Probabilistic discriminative model The Laplace Approximation Bayesian Logistic Regression Linear classification ▶ Classification problem Tak.. 2020. 11. 18. [베이지안 딥러닝] Introduction 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. PRML 교재를 본격적으로 들어가기전에 기존 머신러닝 및 딥러닝에 베이지안 관점이 필요한 이유를 설명하고, 간단한 예제를 통해 관점을 파악해보자. Overview Machine Learning vs Bayesian Machine Learning Coin flipping example Machine Learning 머신러닝 어플리케이션의 대부분은 "data driven"(데이터 기반)으로 인해 성공한 사례로 예를 들면 아래와 같은 것들이 존재한다. 음성인식, 번역 컴퓨터 비전, 객체 탐지 자율 주행 자동 거래 (금융, 전력 등) 크게 ML을 카테고리 별로 분류하면 다음과 같다. Supervised Learning Regr.. 2020. 9. 1. 1.2 Probability Theory 패턴 인식에서 "불확실성(uncertainty)"은 중요한 개념이다. 불확실성의 이유는 측정할 때의 "노이즈" 및 "데이터 집합 수가 제한되어 있다는 한계점" 때문에 발생. 이러한 불확실성을 정량적으로 만들어주는게 "확률론"이다. 확률의 두 가지 기본적인 법칙인 "합의 법칙"과 "곱의 법칙"이 어떻게 도출되는지 Discrete한 예제를 통해 알아보자. Figure 1.10 기준으로 $X$, $Y$라는 확률 변수는 다음과 같다. $X$는 $x_i (i=1, \ldots, M)$ 중 아무 값이나 취할 수 있음 $Y$는 $y_i (i=1, \ldots, L)$ 중 아무 값이나 취할 수 있음 $X$와 $Y$ 각각에서 표본을 추출하는 시도를 $N$번 한다고 하고, 그리고 $X = x_i, Y = y_j$인 시도의.. 2020. 7. 9. 8.1.3 Discrete variables (이산 변수) 지수족에 속하는 확률 분포들의 중요성에 대해 2.4에서 논의했다. 그리고 많은 종류의 잘 알려진 분포들이 지수족의 특정 케이스에 해당한다는 것을 살펴봤으며, 이러한 분포들은 비교적 단순한 편이지만 더 복잡한 확률 분포를 구성하는 데 있어서 구성 원소로서 유용하다. 그리고 그래프 모델 방법론은 이 구성 원소들이 서로 어떻게 연결되는지를 표현하는데 있어서 매우 유용하다. 방향성 그래프의 각각의 부모/자식 쌍들을 conjugate(켤레) 가 되도록 하면 이러한 모델들은 특히 더 유용한 성질을 가지게 된다. 몇몇 이러한 예시를 다루고자 한다. 여기서(8.1.3)는 부모와 자식 노드가 각각 이산 변수일 경우와 각각이 가우시안 변수일 경우(8.1.4에서 다룸)를 살펴보자. 두 케이스의 경우 부모/자식 노드 간의 관.. 2020. 7. 7. 8.1.1 Example: Polynomial regression (다항 근사) 확률 분포를 서술하는데 있어서 방향성 그래프를 어떻게 사용하는지 1.2.6절에서 사용한 베이지안 다항 회귀 모델을 고려해보자. 베이지안 다항 회귀 모델의 확률 변수는 다음과 같다. $\mathbf{w}$ : 다항 계수(가중치)의 벡터 $\mathbf{t}=\left(t_{1}, \ldots, t_{N}\right)^{\mathrm{T}}$ : 관측된 데이터 베이지안 다항 회귀 모델의 입력 데이터 및 hypyer-parameter(초매개변수)는 다음과 같다. $\mathbf{x}=\left(x_{1}, \ldots, x_{N}\right)^{\mathrm{T}}$ : 입력 데이터 $\sigma^{2}$ : 노이즈 분산 $\alpha$ : $\mathbf{W}$에 대한 gaussian 사전 분포의 정밀도 일.. 2020. 7. 7. 이전 1 다음
