전체 글105 [베이지안 딥러닝] Ch4.1 Linear Models for Classification - Introduction , Discriminant Functions 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. 3장에서 regression model들 중에서 해석/계산적 단순한 성질을 가진 모델에 살펴보았는데, 4장에서는 classification 문제를 푸는 데 비슷한 방법(MLE, Bayesian)을 이용해 접근할 것이다. Overview Linear classification (Discriminant functions) Probabilistic generative model Probabilistic discriminative model The Laplace Approximation Bayesian Logistic Regression Linear classification ▶ Classification problem Tak.. 2020. 11. 18. Ch7.2 Stochastic Methods - Stochastic search 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 7.2 Stochastic search 이해를 돕기 위해 일반적인 2차 최적화 문제의 논의로부터 시작한다. 2차 최적화에 접근하는 해석학적 방법이 있지만, 큰 규모의 문제들에 잘 맞지 않는다. 여기서는 서로 다른 후보 솔루션들에 대한 탐색 방법에 초점을 위해 2차를 예시 든다. ▶ suppose we have a large number of variables, where each variable can take one of two discrete values. 많은 변수 $s_i$, $i=1,2, ..., N$을 가지며, 각각의 변수는 binary(이산 -1 또는 1) 값 중 하나를 취할 수 있다고 가정.. 2020. 11. 17. Ch7.1 Stochastic Methods - Introduction 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 7.1 Introduction ▶ Motivation 학습은 pattern classification에서 핵심 역할을 한다. In most high-dimensional and complicated models, there are multiple maxima and we must use a variety of tricks: 대부분의 아주 높은 차원과 복잡한 모델에서는 multiple maximum or minimum이 존재하며, criterion function(loss function) 기준으로 수용할만한 local mimimum (즉 global minimum에 근사)이 발견되었다는 확신을 얻기위한 .. 2020. 11. 17. Ch5.3 Linear Discriminant Functions - Generalized linear discriminant functions 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 5.3 Linear Discriminant Functions and Decision Surfaces ▶ the linear discriminant function $$ g(\mathbf{x})=w_{0}+\sum_{i=1}^{d} w_{i} x_{i} \tag{1}\label{1} $$ ▶ the quadratic discriminant function $$ g(\mathbf{x})=w_{0}+\sum_{i=1}^{d} w_{i} x_{i}+\sum_{i=1}^{d} \sum_{j=1}^{d} w_{i j} x_{i} x_{j} \tag{2}\label{2} $$ $x_i x_j = x_j x_i$이므로.. 2020. 11. 2. Ch5.2 Linear Discriminant Functions - Linear Discriminant Functions and Decision Surfaces 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 5.2 Linear Discriminant Functions and Decision Surfaces $\mathbf{x}$의 요소들의 선형 결합인 판별 함수는 다음과 같이 쓸 수 있다. $$g(\mathbf{x})=\mathbf{w}^T \mathbf{x} + \omega_0 \tag{1}\label{1}$$ $\mathbf{x}$ : weight vector $\omega$ : bias (or threshold weight) Ch2에서 보았듯이 일반적인 $c$개의 class 분류라면 $c$개의 판별 함수가 있을 것이다. ▶ The Two-Category Case (cont.) 식 (1) 형태의 판별 함.. 2020. 10. 29. Ch5.1 Linear Discriminant Functions - Introduction 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 5.1 Introduction ▶ Assume We know the proper forms for the discriminant functions (cf. probability densities). We use the samples to estimate the values of parameters of the classifier. None of various procedures for determining discriminant functions requires knowledge of the forms of underlying probability distributions – nonparametric 관.. 2020. 10. 29. [wahoo KICKR 5세대] 스마트 로라 (indoor) 드디어 8월 중순에 예약한 "스마트로라"가 다음주에 출고된다고한다. 예상했던 11월보다 순번이 앞당겨져서 천만 다행이다. 그 이유는 살이 찌고 있기 때문이다. 시험기간 끝나고 다음주에 출고 예정이였지만, 10월 23일 (금요일) 매장에서 전화가 왔다. 설레는 마음에 바로 픽업하고 집에서 설치했다. "즈위프트 연동" 완료도 쉽게 완료 Step 1 : PC에 구매한 "THINKRIDER ANT+ USB 동글" 연결 (e.g. 키보드에 USB Port 가 있어서 연결) Step 2 : 방음(진동)방지 매트 준비 및 자신의 자전거의 뒷바퀴 탈착 후 "전원이 연결된 와후 키커"와 연결 (조건 : 원활한 기어변속을 위해 가능하면 자전거 뒷바퀴의 스프라켓과 와후 키커에 부착된 스프라켓 이 동일한 모델을 추천) Ste.. 2020. 10. 20. Ch4.3 Nonparametric techniques - Parzen Windows 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 4.3 Nonparametric techniques - Parzen Windows ▶ The Parzen-window approach to estimating densities 밀도를 추정하기 위한 Parzen-window 방식은 임시적으로 영역 $R_n$이 $d$-dimensional hypercube라고 가정해서 소개될 수 있다. 만일 $h_n$이 hypercube의 한 변의 길이라면, 그 부피는 다음과 같다. $$V_n = h_n^{d} \tag{1}\label{eq1}$$ ▶ Window function 다음의 window function "식 (2)"을 정의해서 hypercube(초육면체)에 있.. 2020. 10. 12. Ch4.2 Nonparametric techniques - Density Estimation 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 앞선 Ch3 에서는 미지의 확률 밀도 함수를 추정하기 위해 model (분포)을 가정하고 접근하였지만, Ch4 는 model 을 모른다는 가정이 덜 들어감으로써 치룰 "대가"가 있다. (예를 들면, 추정 하기 위해 data가 훨씬 더 많이 필요로 함) 4.2 Nonparametric techniques - Density Estimation ▶ Estimating an unknown probability density function 비록 추정들이 수렴하는 정밀한 데모들은 많은 주의를 요구하지만, 미지의 확률 밀도 함수를 추정하는 방법 중 대다수의 배경이 되는 기본 아이디어들은 매우 단순하다. 가장 근본적.. 2020. 10. 7. Ch4.1 Nonparametric techniques - Introduction 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 4.1 Nonparametric techniques - Introduction ▶ Supervised learning under the assumption that the forms of the underlying density functions were known – Chap. 3 In most PR applications this assumption is suspect: Many practical problems involve multimodal densities, instead of unimodal High-dimensional density might be accurately represented.. 2020. 10. 7. [베이지안 딥러닝] Lagrange multipler and KKT multiplier 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Lagrange multiplier (제약식이 방정식인 경우, 제약식이 없는 최적화기법으로 변경) Karush-Kuhn-Tucker (KKT) multiplier (제약식이 부등식인 경우, 제약식이 없는 최적화기법으로 변경) 이번에는 Machine Learning에서 자주 등장하는 최적화 기법인 대표적인 "Lagrange multiplier" 및 "Karush-Kuhn-Tucker (KKT) multiplier" 를 알아보고자 한다. Largrange multiplier Consider the problem of finding the maximum of a function $f(\mathbf{x})$ s.. 2020. 10. 6. [베이지안 딥러닝] Introduction - Decision Theory and Information Theory I 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Decison Theory Information Theory Decision problem 패턴 인식 문제를 풀 때는 불확실성이 존재하는 상황에서 의사 결정을 내려야 하는 경우가 많다. 이런 상황에서 결정 이론과 확률론을 함께 사용하면 최적의 의사 결정을 내릴 수 있다. We observe random vector $\mathbf{x}$ and try to determine the probability of $C_k$ which represents the probability of an event belongs to the class $k$.. Determining $p(\mathbf{x}, C_k )$.. 2020. 9. 29. 이전 1 2 3 4 5 6 ··· 9 다음
