Pattern Classification [수업]26 Ch9.6~7 Algorithm-independent machine learning - Estimating and comparing classifiers , Combining classifiers 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 9.6 Estimating and comparing classifiers (분류기 추정 및 비교) ▶ Two reasons for wanting to know the generalization rate of a classifier on a given problem. To see if the classifier performs well enough to be useful. To compare its performance with that of a competing design. 주어진 문제에 대한 분류기의 "generalization rate"을 알고자 하는 데, 적어도 두 가지 이유가 존재한다. 첫째, .. 2020. 12. 11. Ch9.5 Algorithm-independent machine learning - Resampling for classifier design 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 9.5 Resampling for classifier design ▶ A number of general resampling methods that have proven effective when used in conjunction with any in a wide range of techniques for training classifiers. 앞 절에서 기존 분류기의 정확도를 포함해서 통계량을 추정할 때의 resampling의 사용을 다루었으나, 분류기들 자체의 설계는 간접적으로만 언급했다. 이제 분류기를 resampling기법과 결합하여 효과가 입증된 방법들을 살펴보자. 추후 Ch9.6에서 논의할 .. 2020. 12. 10. Ch9.4 Algorithm-independent machine learning - Resampling for estimating statistics 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 9.4 Resampling for estimating statistics (통계 추정을 위한 재표본화) ▶ For a new pattern recognition problem with unknown distribution, how can we determine the bias and variance? An inspiration for “resampling” methods: Fig. 9.4-9.5 [교재 그림] the ultimate goal: using resampling and related techniques to improve classification. 어떤 학습 알고리즘을 분포를 모르는 경우(e.. 2020. 12. 9. Ch9.3 Algorithm-independent machine learning - Bias and variance 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 9.3 Bias and variance ▶ Given that there is no general best classifier unless the probability over the class of problems is restricted, practitioners must be prepared to explore a number of methods or models when solving any given classification problem. 문제들의 클래스에 대한 확률이 제한되지 않는 한 범용의 최선의 분류기는 없다고 주어지면, 우리는 주어진 분류 문제를 풀 때 여러 방법 또는 모델을 탐구할 .. 2020. 12. 9. Ch9.1~9.2 Algorithm-independent machine learning - Introduction 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 9.1 Introduction ▶ Questions concerning the foundations and philosophical underpinnings of statistical pattern classification. any reasons to favor one algorithm over another? are there any fundamental results that hold regardless of the cleverness of the designer, the number and distribution of the patterns, and the nature of the classifi.. 2020. 12. 1. Ch7.5 Stochastic Methods - Evolutionary methods 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. Ch7.4까지는 물리학의 영감을 받은 classifier를 다뤘었다. 이번 Ch7.5에서는 생물학적 진화의 과정에 영감을 받아서, classifier 설계를 하고자 한다. 7.5 Evolutionary methods (적자생존) 분류기 설계의 진화적 방법들은 최적 분류기를 위해 Stochastic Method(탐색)를 사용한다. 이 방법들은 대규모 병렬 컴퓨팅에 적합하다. ▶ Inspired by the biological evolution employing stochastic search for an optimal classifier occasional very large changes in the c.. 2020. 12. 1. Ch7.3 Stochastic Methods - Boltzmann learning 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 앞 Ch7.2 에서는 $w$가 fix된 상태에서의 최적의 $E$를 찾기 위한 각 unit의 state를 찾는 방법을 다뤘었다. 이번 Ch7.3에서는 적절한 $w$를 찾기 위한 방법을 논하고자 한다. 7.3 Boltzmann learning 패턴 인식을 위해 [그림 1]에 제시된 네트워크 구조를 사용하고자 한다. 네트워크는 다음과 같다. ▶ The network the input units accept binary feature information (2진값, 0 또는 1) the output units represent the output categories (1-of-c, node(unit)의 갯수 =.. 2020. 11. 25. Ch7.2 Stochastic Methods - Stochastic search 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 7.2 Stochastic search 이해를 돕기 위해 일반적인 2차 최적화 문제의 논의로부터 시작한다. 2차 최적화에 접근하는 해석학적 방법이 있지만, 큰 규모의 문제들에 잘 맞지 않는다. 여기서는 서로 다른 후보 솔루션들에 대한 탐색 방법에 초점을 위해 2차를 예시 든다. ▶ suppose we have a large number of variables, where each variable can take one of two discrete values. 많은 변수 $s_i$, $i=1,2, ..., N$을 가지며, 각각의 변수는 binary(이산 -1 또는 1) 값 중 하나를 취할 수 있다고 가정.. 2020. 11. 17. Ch7.1 Stochastic Methods - Introduction 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 7.1 Introduction ▶ Motivation 학습은 pattern classification에서 핵심 역할을 한다. In most high-dimensional and complicated models, there are multiple maxima and we must use a variety of tricks: 대부분의 아주 높은 차원과 복잡한 모델에서는 multiple maximum or minimum이 존재하며, criterion function(loss function) 기준으로 수용할만한 local mimimum (즉 global minimum에 근사)이 발견되었다는 확신을 얻기위한 .. 2020. 11. 17. Ch5.3 Linear Discriminant Functions - Generalized linear discriminant functions 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 5.3 Linear Discriminant Functions and Decision Surfaces ▶ the linear discriminant function $$ g(\mathbf{x})=w_{0}+\sum_{i=1}^{d} w_{i} x_{i} \tag{1}\label{1} $$ ▶ the quadratic discriminant function $$ g(\mathbf{x})=w_{0}+\sum_{i=1}^{d} w_{i} x_{i}+\sum_{i=1}^{d} \sum_{j=1}^{d} w_{i j} x_{i} x_{j} \tag{2}\label{2} $$ $x_i x_j = x_j x_i$이므로.. 2020. 11. 2. Ch5.2 Linear Discriminant Functions - Linear Discriminant Functions and Decision Surfaces 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 5.2 Linear Discriminant Functions and Decision Surfaces $\mathbf{x}$의 요소들의 선형 결합인 판별 함수는 다음과 같이 쓸 수 있다. $$g(\mathbf{x})=\mathbf{w}^T \mathbf{x} + \omega_0 \tag{1}\label{1}$$ $\mathbf{x}$ : weight vector $\omega$ : bias (or threshold weight) Ch2에서 보았듯이 일반적인 $c$개의 class 분류라면 $c$개의 판별 함수가 있을 것이다. ▶ The Two-Category Case (cont.) 식 (1) 형태의 판별 함.. 2020. 10. 29. Ch5.1 Linear Discriminant Functions - Introduction 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다. 5.1 Introduction ▶ Assume We know the proper forms for the discriminant functions (cf. probability densities). We use the samples to estimate the values of parameters of the classifier. None of various procedures for determining discriminant functions requires knowledge of the forms of underlying probability distributions – nonparametric 관.. 2020. 10. 29. 이전 1 2 3 다음
