Deep Learning Basic2 4. 바른 학습을 위해 바른 학습을 위해 기계학습에서 OverFitting이 문제가 되는 일이 많다. 오버피팅이란? 신경망이 훈련 데이터에만 지나치게 적응되어 그 외의 데이터에는 제대로 대응하지 못하는 상태를 말한다. 기계학습은 범용 성능을 지향한다.훈련 데이터에는 포함되지 않는, 아직 보지 못한 데이터가 주어져도 바르게 식별해내는 모델이 바람직하다. 복잡하고 표현력이 높은 모델을 만들 수는 있지만, 그만큼 오버피팅을 억제하는 기술이 중요해지는 것이다. Overfitting(오버피팅)오버피팅이 발생하는 경우● 매개변수가 많고 표현력이 높은 모델 ● 훈련 데이터가 적음이번 절에서는 이 두 요건을 일부러 충족하여 오버피팅을 일으켜보자. 그러기 위해 본래 60,000개인 MNIST 데이터셋의 훈련 데이터 중 300개만 사용하고, 7.. 2018. 11. 18. 2. 가중치 초깃값 가중치의 초깃값 신경망 학습에서 특히 중요한 것이 가중치의 초깃값이다. 가중치의 초깃값을 무엇으로 설정하느냐가 신경망 학습의 성패가 가르는 일이 실제로 자주 있다. 이번에는 권장 초깃값에 대해서 설명하고 실험을 통해 신경망 학습이 신속하게 이뤄지는 모습을 확인해보자. 초깃값을 0으로 하면?오버피팅을 억제해 범용 성능을 높이는 기술을 "가중치 감소(weight decay)"기법이 있다.가중치 감소는 말 그대로 가중치 매개변수의 값이 작아지도록 학습하는 방법, 가중치를 작게 하여 오버피팅을 방지할 수 있다. 가중치 초기값을 0으로 하면(균일한 값으로 설정하면)?- Backpropagation에서 모든 가중치의 값이 똑같이 갱신됨 - 가중치들은 같은 초기값에서 시작하고 갱신을 거쳐도 여전히 같은 값을 유지- .. 2018. 11. 17. 이전 1 다음
