전체 글105 Ch3.3~4 Bayes Estimation [The univariate case] 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 3.3 Bayes estimation (베이지안 추정) ▶ In MLE $\theta$ to be fixed ▶ In Bayesian Learning $\theta$ to be random variable and training data allow us to convert a distribution on this variable into posterior probability density. 패턴 분류 문제에 대한 Bayes 추정 방식은 MLE에 의해 얻은 방식과 비슷하지만, 개념적 차이가 있다. MLE 에서는 $\theta$가 고정된 것으로 간주한 반면, Bayes 학습에서는 $\theta$가 랜덤 변.. 2020. 9. 25. Ch3.2 Maximum-likelihood Estimation 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 3.2 Maximum likelihood estimation (최대 우도 추정) Attractive attributes Good convergence properties as the number of training samples increases. Simpler than alternative methods 최대 우도 추정법은 훈련 데이터 샘플 수가 증가함에 따라 거의 항상 좋은 수렴 특성을 갖는다. 그리고, 최대 우도 추정은 Bayes 기법 또는 다른 방법들 같은 대안적 방법들보다 더 단순해서 매력적으로 보인다. The General principle (일반적 원칙) $D_1, ... , D_c$ : .. 2020. 9. 22. Ch3.1 Maximum likelihood and Bayesian parameter estimation 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 3.1 Maximum likelihood and Bayesian parameter estimation - Introduction 2장에서는 $p(\omega_i)$와 클래스-조건부 밀도 $p(\mathbf{x}|\omega_i)$를 아는 경우, 최적 분류기를 설계하는 방법을 다뤘다. 하지만, 패턴인식 응용에서는 문제의 확률적 구조에 관한 이런 종류의 완전한 지식을 거의 갖지 않는다. $$ P(w_j|\mathbf{x}) = \frac{p(\mathbf{x}|w_j)P(w_j)}{p(\mathbf{x})} = \frac{p(\mathbf{x}|w_j)P(w_j)}{\sum_{j=1}^{c} p\left(\.. 2020. 9. 22. Ch2.8 Bayesian decision theory - Error Bounds for Normal Densities 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 2.6 Error Bounds for Normal Densities 이번 절에서는 "신호 검출 이론과 동작 특성"을 활용하여 class 판정을 했을 때, error에 대한 문제 발생될 Issue를 살펴보고자 한다. 두 가우시안 분포 간 거리에 대한 또 다른 척도는 실험적 심리학, 레이더 감지, 기타 분야에서 널리 사용된다. 흐릿한 섬광이나 약한 레이더 반사 같은 하나의 약한 펄스를 검출하는 데 관심이 있다고 하자. 그러면 우리의 모델은, 검출기의 어떤 점에서, 외부 신호(펄스)가 있을 때는 그 값이 평균 $\mu_2$를 가지며 없을 때는 평균 $\mu_1$을 가지는 내부 신호(전압 같은)가 있다고 것이다.. 2020. 9. 17. Ch2.7 Bayesian decision theory - Error Probabilities and Integrals 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 2.7 Error Probabilities and Integrals 다음 Ch2.8 에서는 "Error Bounds for Normal Densities" 를 다루도록 하겠습니다. Reference pattern classification by richard o. duda 2020. 9. 17. Ch2.6 Bayesian decision theory - Discriminant functions for the normal density 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 2.6 Discriminant functions for the normal density 2.4.1절에서 최소 에러율 분류가 아래의 판별 함수들을 사용해서 달성될 수 있음을 보았었다. $$ g_i(\mathbf{x}) = \ln p(\mathbf{x}|w_i) + \ln P(w_i)$$ 위 식에서 우항의 첫번째 식(likelihood )인 $p(\mathbf{x}|w_i)$가 Multivariate normal distribution (다변 정규 분포)를 따른다고 하면, 즉, $p(\mathbf{x}|w_i) \sim N(\mu_i, \sum_{i})$ 이라면 아래 식을 전개할 수 있다. $$p(\mat.. 2020. 9. 17. [베이지안 딥러닝] Introduction - Curve Fitting 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Curve fitting Probability theory Curve fitting revisited Bayesian curve fitting Curve fitting problem ML에서 중요한 개념들에 대한 통찰력있는 직관을 가져보기 위해 간단한 회귀 문제(Regression)를 생각해보자. We observe a real value input $x$ and wish to use this observation to predict the value of a real valued target value $t$. We have our training data $\mathbf{x} = (x_1, ..., .. 2020. 9. 16. Ch2.5 Bayesian decision theory - The Normal Density 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 2.5 The Normal Density Bayes 분류기의 구조는 사전 확률 $P(w_i)$뿐만 아니라, 조건부 밀도 $p(\mathbf{x}|w_i)$에 의해서 결정된다. 다양한 밀도 함수들이 존재하지만, multivariate normal 또는 gaussian density만큼 주목받은 것도 없다. 이유는 해석학적으로 다루기 쉽기 때문이다. (analytical tractability, 미분, 적분 등에 용이한, $e$로 구성됨) 그리고, 주어진 class $w_i$에 대한 특징 벡터 $\mathbf{x}$가 단일 대표 또는 프로토타입 벡터 $\mu_i$의 연속적 값을 갖고 랜덤하게 설정된 경우를 .. 2020. 9. 15. Ch2.4 Bayesian decision theory - Classifiers, Discriminant Functions and Decision Surfaces 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 앞 절에서는 이해를 위해 class가 Two-case로 설명했었다. 이번 절에서는 보다 일반적인 class를 설명한다. 2.4 Classifiers, Discriminant Functions and Decision Surfaces ▶ The multicategory case 패턴 분류기를 표현하는 다양한 방법이 있지만, 가장 쓸만한 방법 중 하나는 "discriminant functions(판별 함수)"들에 의한 것이다. $$g_{i}(\mathbf{x}), \qquad i = 1, ... , c$$ 분류기가 만약 다음과 같다면 특징 벡터 $\mathbf{x}$를 클래스 $w_i$에 할당한다. 따라서 분.. 2020. 9. 10. Ch2.3 Bayesian decision theory - Minimum-error-rate Classification 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 2.3 Minimum-error-rate Classification 분류 문제에서 state of nature는 보통 다른 $c$개의 클래스 중 하나와 관련되며, 행동 $\alpha_i$는 보통 state of nature가 $w_i$인 판정으로 해석된다. 만일 행동 $\alpha_i$가 취해지고, Ture를 가지는 state of nature가 $w_j$이면, 그 판정은 만일 $i=j$는 옳고, $i \neq j$이면 에러이다. 에러를 피하려면 에러 확률, 즉 에러율을 최소화하는 판정 룰을 찾는게 당연하다. ▶ Zero-one loss function $$\lambda\left(\alpha_{i} \m.. 2020. 9. 10. Ch2.2 Bayesian decision theory - continuous features 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 2.2 Bayesian decision theory - continuous features (연속적 특징들) 앞 "Introduction"에서는 베이지안 판정 이론에 대한 이해를 위해 two-class model의 간단한 사례로 설명을 했었다. 이번에는 보다 일반화시켜서 개념들을 공식화! Generalization of the bayesian theory. By allowing the use of more than on feature (특징 공간) Replacing the scalar $x$ by the feature vector $\mathbf{x}$ (e.g. 밝기, 폭, 위치, 등등) $\mathb.. 2020. 9. 10. Ch2.1 Bayesian decision theory - Introduction 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 2.1 Introduction "Bayes decision theory"는 패턴 인식 문제에 대한 중요한 통계적(Statistical) 접근 방식임. This approach is based on quantifying the tradeoffs between various classification decisions using probability and the costs that accompany such decisions. 즉 , 확률을 이용하는 다양한 분류 판정들과 그러한 판정들에 수반하는 비용간의 절충을 정량화하는 것에 기반함 이 방식은 판정 문제가 확률론적 방식으로 표현되며, 모든 관련 확률 값들.. 2020. 9. 8. 이전 1 2 3 4 5 6 7 ··· 9 다음
