본문 바로가기

패턴인식과 머신러닝/Ch 08. Graphical Models6

A Tutorial on Learning With Bayesian Networks 이 자료는 "David Heckerman"님의 "A Tutorial on Learning With Bayesian Networks"을 기반으로 작성을 하였습니다. Abstract 베이지안 네트워크는 관심 변수 간의 확률 관계를 인코딩하는 그래픽 모델입니다. 통계 기술과 함께 사용하면 그래픽 모델은 데이터 분석에 몇 가지 장점이 있습니다. 모델이 모든 변수 간의 종속성(dependencies)을 인코딩하기 때문에 일부 데이터 항목이 누락 된 상황을 쉽게 처리합니다. 베이지안 네트워크는 인과 관계를 배우는 데 사용될 수 있으므로 문제 영역에 대한 이해를 얻고 개입의 결과를 예측하는 데 사용될 수 있습니다. 이 모델은 인과적(원인/결과) 의미론을 가지고 있기 때문에 사전 지식과 데이터를 결합하는 데 이상적인 .. 2020. 7. 28.
8.1.3 Discrete variables (이산 변수) 지수족에 속하는 확률 분포들의 중요성에 대해 2.4에서 논의했다. 그리고 많은 종류의 잘 알려진 분포들이 지수족의 특정 케이스에 해당한다는 것을 살펴봤으며, 이러한 분포들은 비교적 단순한 편이지만 더 복잡한 확률 분포를 구성하는 데 있어서 구성 원소로서 유용하다. 그리고 그래프 모델 방법론은 이 구성 원소들이 서로 어떻게 연결되는지를 표현하는데 있어서 매우 유용하다. 방향성 그래프의 각각의 부모/자식 쌍들을 conjugate(켤레) 가 되도록 하면 이러한 모델들은 특히 더 유용한 성질을 가지게 된다. 몇몇 이러한 예시를 다루고자 한다. 여기서(8.1.3)는 부모와 자식 노드가 각각 이산 변수일 경우와 각각이 가우시안 변수일 경우(8.1.4에서 다룸)를 살펴보자. 두 케이스의 경우 부모/자식 노드 간의 관.. 2020. 7. 7.
8.1.2 Generative models (생성적 모델) 주어진 확률 분포에서 표본을 추출해야 할 상황이 발생할 수 있다. 11장에서는 표본 추출 방법에 대해 자세히 다룰 것이며, 여기서 간단히 하나의 표본 추출 테크닉을 살펴보고 넘어가자. ancestral sampling(조상 추출법) 이라 불리는 이 테크닉은 특히 그래프 모델과 관련성이 높다. 이 부분은 추후 작성하기로... 2020. 7. 7.
8.1.1 Example: Polynomial regression (다항 근사) 확률 분포를 서술하는데 있어서 방향성 그래프를 어떻게 사용하는지 1.2.6절에서 사용한 베이지안 다항 회귀 모델을 고려해보자. 베이지안 다항 회귀 모델의 확률 변수는 다음과 같다. $\mathbf{w}$ : 다항 계수(가중치)의 벡터 $\mathbf{t}=\left(t_{1}, \ldots, t_{N}\right)^{\mathrm{T}}$ : 관측된 데이터 베이지안 다항 회귀 모델의 입력 데이터 및 hypyer-parameter(초매개변수)는 다음과 같다. $\mathbf{x}=\left(x_{1}, \ldots, x_{N}\right)^{\mathrm{T}}$ : 입력 데이터 $\sigma^{2}$ : 노이즈 분산 $\alpha$ : $\mathbf{W}$에 대한 gaussian 사전 분포의 정밀도 일.. 2020. 7. 7.
8.1 bayesian network 세 개의 확률 변수 $a$, $b$, $c$에 대한 임의의 결합 분포 $p(a, b, c)$를 고려해 보자. 여기서 이 변수들에 대해서 아무것도 특징짓지 않는다는 것을 주목해보자. (이 변수들이 이산인지 또는 연속인지 특정짓지 않음) 이러한 그래프 모델의 강력한 측면 중 하나는 하나의 특정 그래프가 넓은 범위의 분포들에 대한 확률적인 표현으로 사용될 수 있다는 점이다. 확률의 곱 법칙을 적용하면 결합 분포를 다음과 같이 나타낼 수 있다. $$p(a, b, c)=p(c \mid a, b) p(a, b) \tag{식 8.1}\label{eq1}$$ 식 8.1의 오른쪽 두 번째 항에 곱의 법칙을 한번더 적용하면 다음과 같이 나타낼 수 있다. $$p(a, b, c)=p(c \mid a, b) p(b \mid a.. 2020. 7. 7.
CH 8. Graph Model 확률적 추론이나 학습 방법들은 아무리 복잡한 것이라 할지라도 결론적으로는 합의 법칙과 곱의 법칙 두 가지를 반복해서 적용한 것과 같다. 그렇기 때문에 아무리 복잡한 확률적 모델이라고 하더라도 순수하게 대수적인 과정을 바탕을 공식화하고 푸는 것이 가능하다. 이러한 분석 과정에서 확률 분포를 도식적으로 표현하는 확률적 그래프 모델(Probabilistic graphical model)이라고 한다. 확률적 그래프 모델(Probabilistic graphical model)을 사용하면 다양한 장점이 존재한다. 모델의 구조를 시각화하는 단순한 방법을 제공하며, 새로운 모델을 설계하는 데 사용할 수도 있다. 그래프에 대한 점검을 통해 조건부 독립 성질과 같은 모델에 대한 통찰을 얻을 수 있음 정교한 모델하에서 학습.. 2020. 7. 7.

티스토리툴바