본문 바로가기

패턴인식과 머신러닝21

[베이지안 딥러닝] Introduction - Curve Fitting 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Curve fitting Probability theory Curve fitting revisited Bayesian curve fitting Curve fitting problem ML에서 중요한 개념들에 대한 통찰력있는 직관을 가져보기 위해 간단한 회귀 문제(Regression)를 생각해보자. We observe a real value input $x$ and wish to use this observation to predict the value of a real valued target value $t$. We have our training data $\mathbf{x} = (x_1, ..., .. 2020. 9. 16.
[베이지안 딥러닝] Introduction 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. PRML 교재를 본격적으로 들어가기전에 기존 머신러닝 및 딥러닝에 베이지안 관점이 필요한 이유를 설명하고, 간단한 예제를 통해 관점을 파악해보자. Overview Machine Learning vs Bayesian Machine Learning Coin flipping example Machine Learning 머신러닝 어플리케이션의 대부분은 "data driven"(데이터 기반)으로 인해 성공한 사례로 예를 들면 아래와 같은 것들이 존재한다. 음성인식, 번역 컴퓨터 비전, 객체 탐지 자율 주행 자동 거래 (금융, 전력 등) 크게 ML을 카테고리 별로 분류하면 다음과 같다. Supervised Learning Regr.. 2020. 9. 1.
A Tutorial on Learning With Bayesian Networks 이 자료는 "David Heckerman"님의 "A Tutorial on Learning With Bayesian Networks"을 기반으로 작성을 하였습니다. Abstract 베이지안 네트워크는 관심 변수 간의 확률 관계를 인코딩하는 그래픽 모델입니다. 통계 기술과 함께 사용하면 그래픽 모델은 데이터 분석에 몇 가지 장점이 있습니다. 모델이 모든 변수 간의 종속성(dependencies)을 인코딩하기 때문에 일부 데이터 항목이 누락 된 상황을 쉽게 처리합니다. 베이지안 네트워크는 인과 관계를 배우는 데 사용될 수 있으므로 문제 영역에 대한 이해를 얻고 개입의 결과를 예측하는 데 사용될 수 있습니다. 이 모델은 인과적(원인/결과) 의미론을 가지고 있기 때문에 사전 지식과 데이터를 결합하는 데 이상적인 .. 2020. 7. 28.
1.2 Probability Theory 패턴 인식에서 "불확실성(uncertainty)"은 중요한 개념이다. 불확실성의 이유는 측정할 때의 "노이즈" 및 "데이터 집합 수가 제한되어 있다는 한계점" 때문에 발생. 이러한 불확실성을 정량적으로 만들어주는게 "확률론"이다. 확률의 두 가지 기본적인 법칙인 "합의 법칙"과 "곱의 법칙"이 어떻게 도출되는지 Discrete한 예제를 통해 알아보자. Figure 1.10 기준으로 $X$, $Y$라는 확률 변수는 다음과 같다. $X$는 $x_i (i=1, \ldots, M)$ 중 아무 값이나 취할 수 있음 $Y$는 $y_i (i=1, \ldots, L)$ 중 아무 값이나 취할 수 있음 $X$와 $Y$ 각각에서 표본을 추출하는 시도를 $N$번 한다고 하고, 그리고 $X = x_i, Y = y_j$인 시도의.. 2020. 7. 9.
8.1.3 Discrete variables (이산 변수) 지수족에 속하는 확률 분포들의 중요성에 대해 2.4에서 논의했다. 그리고 많은 종류의 잘 알려진 분포들이 지수족의 특정 케이스에 해당한다는 것을 살펴봤으며, 이러한 분포들은 비교적 단순한 편이지만 더 복잡한 확률 분포를 구성하는 데 있어서 구성 원소로서 유용하다. 그리고 그래프 모델 방법론은 이 구성 원소들이 서로 어떻게 연결되는지를 표현하는데 있어서 매우 유용하다. 방향성 그래프의 각각의 부모/자식 쌍들을 conjugate(켤레) 가 되도록 하면 이러한 모델들은 특히 더 유용한 성질을 가지게 된다. 몇몇 이러한 예시를 다루고자 한다. 여기서(8.1.3)는 부모와 자식 노드가 각각 이산 변수일 경우와 각각이 가우시안 변수일 경우(8.1.4에서 다룸)를 살펴보자. 두 케이스의 경우 부모/자식 노드 간의 관.. 2020. 7. 7.
8.1.2 Generative models (생성적 모델) 주어진 확률 분포에서 표본을 추출해야 할 상황이 발생할 수 있다. 11장에서는 표본 추출 방법에 대해 자세히 다룰 것이며, 여기서 간단히 하나의 표본 추출 테크닉을 살펴보고 넘어가자. ancestral sampling(조상 추출법) 이라 불리는 이 테크닉은 특히 그래프 모델과 관련성이 높다. 이 부분은 추후 작성하기로... 2020. 7. 7.
8.1.1 Example: Polynomial regression (다항 근사) 확률 분포를 서술하는데 있어서 방향성 그래프를 어떻게 사용하는지 1.2.6절에서 사용한 베이지안 다항 회귀 모델을 고려해보자. 베이지안 다항 회귀 모델의 확률 변수는 다음과 같다. $\mathbf{w}$ : 다항 계수(가중치)의 벡터 $\mathbf{t}=\left(t_{1}, \ldots, t_{N}\right)^{\mathrm{T}}$ : 관측된 데이터 베이지안 다항 회귀 모델의 입력 데이터 및 hypyer-parameter(초매개변수)는 다음과 같다. $\mathbf{x}=\left(x_{1}, \ldots, x_{N}\right)^{\mathrm{T}}$ : 입력 데이터 $\sigma^{2}$ : 노이즈 분산 $\alpha$ : $\mathbf{W}$에 대한 gaussian 사전 분포의 정밀도 일.. 2020. 7. 7.
8.1 bayesian network 세 개의 확률 변수 $a$, $b$, $c$에 대한 임의의 결합 분포 $p(a, b, c)$를 고려해 보자. 여기서 이 변수들에 대해서 아무것도 특징짓지 않는다는 것을 주목해보자. (이 변수들이 이산인지 또는 연속인지 특정짓지 않음) 이러한 그래프 모델의 강력한 측면 중 하나는 하나의 특정 그래프가 넓은 범위의 분포들에 대한 확률적인 표현으로 사용될 수 있다는 점이다. 확률의 곱 법칙을 적용하면 결합 분포를 다음과 같이 나타낼 수 있다. $$p(a, b, c)=p(c \mid a, b) p(a, b) \tag{식 8.1}\label{eq1}$$ 식 8.1의 오른쪽 두 번째 항에 곱의 법칙을 한번더 적용하면 다음과 같이 나타낼 수 있다. $$p(a, b, c)=p(c \mid a, b) p(b \mid a.. 2020. 7. 7.
CH 8. Graph Model 확률적 추론이나 학습 방법들은 아무리 복잡한 것이라 할지라도 결론적으로는 합의 법칙과 곱의 법칙 두 가지를 반복해서 적용한 것과 같다. 그렇기 때문에 아무리 복잡한 확률적 모델이라고 하더라도 순수하게 대수적인 과정을 바탕을 공식화하고 푸는 것이 가능하다. 이러한 분석 과정에서 확률 분포를 도식적으로 표현하는 확률적 그래프 모델(Probabilistic graphical model)이라고 한다. 확률적 그래프 모델(Probabilistic graphical model)을 사용하면 다양한 장점이 존재한다. 모델의 구조를 시각화하는 단순한 방법을 제공하며, 새로운 모델을 설계하는 데 사용할 수도 있다. 그래프에 대한 점검을 통해 조건부 독립 성질과 같은 모델에 대한 통찰을 얻을 수 있음 정교한 모델하에서 학습.. 2020. 7. 7.

티스토리툴바