본문 바로가기

전체 글105

[베이지안 딥러닝] Introduction 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. PRML 교재를 본격적으로 들어가기전에 기존 머신러닝 및 딥러닝에 베이지안 관점이 필요한 이유를 설명하고, 간단한 예제를 통해 관점을 파악해보자. Overview Machine Learning vs Bayesian Machine Learning Coin flipping example Machine Learning 머신러닝 어플리케이션의 대부분은 "data driven"(데이터 기반)으로 인해 성공한 사례로 예를 들면 아래와 같은 것들이 존재한다. 음성인식, 번역 컴퓨터 비전, 객체 탐지 자율 주행 자동 거래 (금융, 전력 등) 크게 ML을 카테고리 별로 분류하면 다음과 같다. Supervised Learning Regr.. 2020. 9. 1.
[DT SWISS PR 1400 21mm 알루미늄 휠셋] 과거의 알루미늄 3대장 휠셋인 듀라의 C24/펄크림 레이싱 제로/캄파놀로 샤말 울트라 제품들의 인지도에 밀렸지만, 올해(2020년 기준)로는 DT SWISS PR 1400 제품이 보다 성능 및 디자인에서 좋은 평가를 받고 있다고 한다. 특징 : 튜브리스 및 클린처 모두 지원하며, 개인적으로 튜브리스에 관심이 있어 튜브리스로 선택, 즉, 나중에 튜브와 타이어를 구매하면 클린처 모드로 변경 가능! 장점 : 경량화(알루미늄 휠셋에 해당), 블랙림(디자인) 단점 : 튜브리스로 선택하는 경우 소모품인 실란트, 약 3개월 주기로 교체 필요 비용 발생 및 DT-SWISS 전용 브레이크 패드(3~4만원 예상) 사용 특이 사항 : 개인적으로 휠셋 타이어 교체 작업할 때 인내심 필요 (가능하면 공임비 들여서라도 메카닉에게.. 2020. 8. 26.
A Tutorial on Learning With Bayesian Networks 이 자료는 "David Heckerman"님의 "A Tutorial on Learning With Bayesian Networks"을 기반으로 작성을 하였습니다. Abstract 베이지안 네트워크는 관심 변수 간의 확률 관계를 인코딩하는 그래픽 모델입니다. 통계 기술과 함께 사용하면 그래픽 모델은 데이터 분석에 몇 가지 장점이 있습니다. 모델이 모든 변수 간의 종속성(dependencies)을 인코딩하기 때문에 일부 데이터 항목이 누락 된 상황을 쉽게 처리합니다. 베이지안 네트워크는 인과 관계를 배우는 데 사용될 수 있으므로 문제 영역에 대한 이해를 얻고 개입의 결과를 예측하는 데 사용될 수 있습니다. 이 모델은 인과적(원인/결과) 의미론을 가지고 있기 때문에 사전 지식과 데이터를 결합하는 데 이상적인 .. 2020. 7. 28.
2.3 The 10-armed Testbed 2.2에서 다룬 내용 기준으로 test 한 결과를 설명한다. The 10-armed Testbed $k$ = 10 , 즉 서로 다른 슬롯 머신, action = 10 가지 ($\alpha = 1, ..., 10$) 슬롯머신 2000번 실행 각 Action에 대해 Reward는 $\mathbb{N}(0, 1^2)$ 의 정규 분포로 받음 위에서 분포가 어떻게 그려지는지 생각해보자... 2020. 7. 24.
2.2 Action-value Methods "action value"인 $Q_t(\alpha)$를 추정하고 이를 사용하여 행동을 결정하는 몇 가지 간단한 방법들을 살펴볼 것이다. 이 장에서는 행동 $\alpha$의 실제(true/actual value)값을 $q(\alpha)$로 표시하고 $t$번째 단계에서의 추정값은 $Q_t(\alpha)$로 표기한다. 한 가지 방법은 실제로 $t$시점 까지 받은 보상을 averaging(평균화)하는 것이다. $$Q_t(\alpha) = \frac{\text{sum of rewrads when } \alpha \text{ taken prior to } t}{\text{number of times } \alpha \text{ taken prior to } t} = \frac{\sum_{i=1}^{t-1}R_i \.. 2020. 7. 24.
1.2 Probability Theory 패턴 인식에서 "불확실성(uncertainty)"은 중요한 개념이다. 불확실성의 이유는 측정할 때의 "노이즈" 및 "데이터 집합 수가 제한되어 있다는 한계점" 때문에 발생. 이러한 불확실성을 정량적으로 만들어주는게 "확률론"이다. 확률의 두 가지 기본적인 법칙인 "합의 법칙"과 "곱의 법칙"이 어떻게 도출되는지 Discrete한 예제를 통해 알아보자. Figure 1.10 기준으로 $X$, $Y$라는 확률 변수는 다음과 같다. $X$는 $x_i (i=1, \ldots, M)$ 중 아무 값이나 취할 수 있음 $Y$는 $y_i (i=1, \ldots, L)$ 중 아무 값이나 취할 수 있음 $X$와 $Y$ 각각에서 표본을 추출하는 시도를 $N$번 한다고 하고, 그리고 $X = x_i, Y = y_j$인 시도의.. 2020. 7. 9.
[하버드] 확률론 기초: Statistics 110 목록 1강- 확률과 셈 원리 (Probability and Counting) 2강- 해석을 통한 문제풀이 및 확률의 공리 (Story Proofs, Axioms of Probability) 3강- Birthday Problem과 확률의 특성 (Birthday Problem, Properties of Probability) 4강- 조건부 확률 (Conditional Probability) 5강- 조건부 확률과 전확률정리 (Conditioning Continued, Law of Total Probability) 6강- Monty Hall 문제와 심슨의 역설 (Monty Hall, Simpson's Paradox) 7강- 도박꾼의 파산 문제와 확률변수 (Gambler's Ruin and Random Variable.. 2020. 7. 8.
사피엔스 (Sapiens), 유발 하라리 7월 독서 시작 2020. 7. 8.
8.1.3 Discrete variables (이산 변수) 지수족에 속하는 확률 분포들의 중요성에 대해 2.4에서 논의했다. 그리고 많은 종류의 잘 알려진 분포들이 지수족의 특정 케이스에 해당한다는 것을 살펴봤으며, 이러한 분포들은 비교적 단순한 편이지만 더 복잡한 확률 분포를 구성하는 데 있어서 구성 원소로서 유용하다. 그리고 그래프 모델 방법론은 이 구성 원소들이 서로 어떻게 연결되는지를 표현하는데 있어서 매우 유용하다. 방향성 그래프의 각각의 부모/자식 쌍들을 conjugate(켤레) 가 되도록 하면 이러한 모델들은 특히 더 유용한 성질을 가지게 된다. 몇몇 이러한 예시를 다루고자 한다. 여기서(8.1.3)는 부모와 자식 노드가 각각 이산 변수일 경우와 각각이 가우시안 변수일 경우(8.1.4에서 다룸)를 살펴보자. 두 케이스의 경우 부모/자식 노드 간의 관.. 2020. 7. 7.
8.1.2 Generative models (생성적 모델) 주어진 확률 분포에서 표본을 추출해야 할 상황이 발생할 수 있다. 11장에서는 표본 추출 방법에 대해 자세히 다룰 것이며, 여기서 간단히 하나의 표본 추출 테크닉을 살펴보고 넘어가자. ancestral sampling(조상 추출법) 이라 불리는 이 테크닉은 특히 그래프 모델과 관련성이 높다. 이 부분은 추후 작성하기로... 2020. 7. 7.
8.1.1 Example: Polynomial regression (다항 근사) 확률 분포를 서술하는데 있어서 방향성 그래프를 어떻게 사용하는지 1.2.6절에서 사용한 베이지안 다항 회귀 모델을 고려해보자. 베이지안 다항 회귀 모델의 확률 변수는 다음과 같다. $\mathbf{w}$ : 다항 계수(가중치)의 벡터 $\mathbf{t}=\left(t_{1}, \ldots, t_{N}\right)^{\mathrm{T}}$ : 관측된 데이터 베이지안 다항 회귀 모델의 입력 데이터 및 hypyer-parameter(초매개변수)는 다음과 같다. $\mathbf{x}=\left(x_{1}, \ldots, x_{N}\right)^{\mathrm{T}}$ : 입력 데이터 $\sigma^{2}$ : 노이즈 분산 $\alpha$ : $\mathbf{W}$에 대한 gaussian 사전 분포의 정밀도 일.. 2020. 7. 7.
8.1 bayesian network 세 개의 확률 변수 $a$, $b$, $c$에 대한 임의의 결합 분포 $p(a, b, c)$를 고려해 보자. 여기서 이 변수들에 대해서 아무것도 특징짓지 않는다는 것을 주목해보자. (이 변수들이 이산인지 또는 연속인지 특정짓지 않음) 이러한 그래프 모델의 강력한 측면 중 하나는 하나의 특정 그래프가 넓은 범위의 분포들에 대한 확률적인 표현으로 사용될 수 있다는 점이다. 확률의 곱 법칙을 적용하면 결합 분포를 다음과 같이 나타낼 수 있다. $$p(a, b, c)=p(c \mid a, b) p(a, b) \tag{식 8.1}\label{eq1}$$ 식 8.1의 오른쪽 두 번째 항에 곱의 법칙을 한번더 적용하면 다음과 같이 나타낼 수 있다. $$p(a, b, c)=p(c \mid a, b) p(b \mid a.. 2020. 7. 7.

티스토리툴바