Ch7.1 Stochastic Methods - Introduction

 2020-2학기 서강대 김경환 교수님 강의 내용 및 패턴인식 교재를 바탕으로 본 글을 작성하였습니다.

 

7.1 Introduction

---

▶ Motivation

 학습은 pattern classification에서 핵심 역할을 한다. 

• In most high-dimensional and complicated models, there are multiple maxima and we must use a variety of tricks:

[그림 1]

  대부분의 아주 높은 차원과 복잡한 모델에서는 multiple maximum or minimum이 존재하며, criterion function(loss function) 기준으로 수용할만한 local mimimum (즉 global minimum에 근사)이 발견되었다는 확신을 얻기위한 다양한 방법들이 존재한다.

• searching multiple times from different starting conditions

 첫번째 방법(위)은 학습 초기에 $w$를 서로 다른 값으로 설정 후, 실험을 다양하게 진행하면 성능이 다 다른점을 이용

• a naïve approach – exhaustive search through solution space – get out of hand and is completely impractical for real-world problems. 

 두번째 방법으로, exhaustive search란 위 [그림 1]에서 $x$축의 모든 범위를 찾아보는 방법이다. (domain의 범위가 넓은 경우에는 비효율적이므로 추천하지 않음) 

• stochastic methods for finding parameters. (7장에서 주로 다룰 내용으로 크게 두 가지 기법이 있음)

• randomness plays a crucial role in search and learning
• to bias the search toward regions where we expect the solution to be and allow randomness to help find good parameters.

 세번째 방법은 파라미터를 찾아내기 위해 randomness가 탐색과 학습과정에서 중요한 역할을 하는 stochastic methods을 고려한다. 일반적 방식은 solution이 있을 것으로 기대되는 영역으로 탐색을 편향(bias)시키고 좋은 parameter를 찾는 것을 돕기 위해 randomness를 허용하는 것이다. 

 

▶ Two general classes of such methods 

 위 방법들의 두 가지 일반적인 부류는 다음과 같다.

• Boltzman learning

물리학, 구체적으로는 통계적 역학의 개념과 기법에 기반, Boltzman learning는 고도로 발전되고 정밀한 이론을 가지며 패턴 인식에서 많은 성공 사례가 있다. 

• Genetic algorithms

 유전자 알고리즘이 좋은 예이며, 생물학, 구체적으로 수학적 진화 이론의 개념에 기반, 특징으로 더 발견 학습적이나 유연성을 제공하며 적절한 계산 자원이 가용할 때 이점

이러한 기법들은 간단하고, 표준 경사 프로시저들로도 다룰 수 있는 경우들에 대해 예시한다. 

▶ due to high computational burden, they would be of little use without computers.

이 방법들은 높은 계산 부담을 가져서 컴퓨터 없이는 거의 쓸모 없는 기법이다.