CS23110 Lecture 11 : Detection and Segmentation Today Segmentataion Localization Detection 지금까지 CNN을 이용해서 Image를 Classification하는 과정은 아래와 같았다. Other Computer Vision Tasks 이외에 다른 CV로 할수 있는 작업은 크게 4가지로 "Semantic Segmentation", "Classification + Localization", "Object Detection", "Instance Segmenatation"으로 구분된다. Semantic Segmentation "Semantic Segmentation"은 사진에 존재하는 객체(물체)를 의미하는게 아닌, Pixcel에 해당되는 Class를 학습시키고, 구분하는 것이다. 아래 Case를 보면 더 이해하기 쉬울 것이.. 2020. 5. 17. Lecture 10 : Recurrent Neural Networks Recurrent Neural Networks "Vanilla" Neural Network 지금까지 어떤 모델에 하나의 input을 넣어서 하나의 output이 나오는 것을 살펴봤었다. 이번에는 n개의 input과 n개의 output이 나오는 모델(n : 1 이상)을 살펴보려고 한다. Recurrent Neural Networks : Process Sequences 경우에 따라서 아래와 같이 분류하면 다음과 같다. one to many (e.g. : Image Captioning : image → sequence of words) many to one (e.g. : Sentiment Classification : sequence of words → sentiment) many to many (e.g. :.. 2020. 5. 9. Lecture 9 : CNN Architectures CNN Architectures Case Studies AlexNet VGG GoogLeNet ResNet Also... NiN (Network in Network) DenseNet Wide ResNet FractalNet ResNeXT SqueezeNet Stochastic Depth Review : LeNet-5 CNN을 처음으로 도입하였으며, 우편 번호와 숫자를 확인하는데 사용하였다고 한다. AlexNet (ILSVR'12 winner) AlexNet은 8개의 Layer로 구성되어 있다. (참고 : Convolution Layer (5개) 및 Fully Connected Layer (3개)) Output size $=\frac{\text { input_size }-\text { filter }+\l.. 2020. 5. 2. Lecture 8 : Deep Learning Software Pass 2020. 5. 2. Lecture 7 : Training Neural Networks II Part 2 Fancier optimization Regularization Transfer Learning 이번 장에서 다룰 내용은 위와 같으며 최적화를 다루기 전 아래 내용을 확인하고 들어가자. GD (batch gradient descent) : 한 번의 업데이트를 위해 모든 데이터 계산 손실함수는 $J = \sum_{i=1}^{N}{error}$이며, $\sum_{i=1}^{N}$가 모든 데이터를 의미한다. 단점 : 한 번의 업데이트를 위해 모든 데이터가 계산에 포함되므로 속도가 느림 특징 : loss function이 convex한 경우 global mimimum을 보장하고, nonconvex인 경우 local minimum을 보장 SGD (stochastic gradient descent) :.. 2020. 4. 16. Lecture 6 : Training Neural Networks I "Training Neural Networks I"을 들어가기전 지금까지의 수업 내용을 잠깐 되돌아 보자. Overview (Training Neural Networks) 이번 장에서는 네트워크를 학습시키는 것과 관련한 부분을 다둘 것이다. 처음에 신경망을 어떻게 설정할 것인가? 어떤 Activation Function을 선택해야하는가? Data Preprocess 어덯게 해야할지? weight initiailzation, regularization, gradient checking 관련하여 학습이 동적으로 진행되는 관점에서 얘기해볼것이다. 아래는 신경망 학습에 필요한 초기 설정, 동적 학습, 평가로 3단계로 구분하여 정리한 것이다. Part 1 이번 장에서 다룰 내용은 위와 같으며 하나하나씩 아래 다루.. 2020. 4. 12. Lecture 5 : Convolutional Neural Networks "CNN"을 들어가기전 지난 수업 내용 Neural Networks을 잠깐 되돌아 보자. Linear Score의 경우:오직 Matrix 연산만 하게 되므로, 아래와 같이 단순한 문제밖에 못 풀게 됨. (즉, 성능이 매우 나쁘다. 정확도 매우 낮음) Linear Score 의 문제점 nonlinear layer(: hidden layer)의 등장 (e.g softmax) Linear Score : W1x → Non-linear Score : W2max(0, W1x) hidden layer(softmax function)를 추가 하면 신경망으로 바꿀 수 있는데, 이는 문제점을 해결하는데 도움이 될 수 있었음을 확인했었다. 이제 Convolutional Neural Networks 를 확인할 차례 잠깐 Co.. 2020. 4. 3. Lecture 4 : Backpropagation and Neural Networks 이번 장에서 다룰 내용들은 다음과 같다. Backpropagation(오차역전파) Neural Network(신경망) Lecture 4를 본격적으로 들어가기 전에 Lecture 3의 내용을 잠시 상기시켜보자. 지금까지 했던 계산(loss, gradient descent 등등)들을 graph 형태로 정리할 수 있었는데 이를 "Computational graphs"라고 합니다. 이는 이번장에서 다룰 "Backpropagation"에 매우 유용하다고 합니다. "Backpropagation"이 어떻게 수행되는지 알아 볼 것이다. 아래처럼 더 확장하여 Layer를 다음과 같이 쌓아 복잡한 네트워크를 구성한 예제들이 있는데, 복잡한 모델도 "Computational graphs" 원리를 이용해 "Backpropag.. 2020. 3. 29. Lecture 3 : Loss Functions and Optimization 이번 장에서 다룰 내용들은 다음과 같다. Linear classification II Higher-level representations, image features Optimization, stochastic gradient descent Lecture 3를 본격적으로 들어가기 전에 Lecture 2의 내용을 잠시 상기시켜보자. "Challenges of recognition" "data-driven approach, kNN" "Linear Classifier" "cat", "automobile" ,"frog" 3개의 데이터에 대해 "Linear Classifier"로 Score를 구하면 각각 10개의 class에 해당하는 score를 구하고, 그 값이 가장 큰 값에 해당하는 클래스를 구분하는 것까지 .. 2020. 3. 22. Lecture 2 : Image Classification 2020. 3. 22. 이전 1 다음
