전체 글105 Lecture 4 : Backpropagation and Neural Networks 이번 장에서 다룰 내용들은 다음과 같다. Backpropagation(오차역전파) Neural Network(신경망) Lecture 4를 본격적으로 들어가기 전에 Lecture 3의 내용을 잠시 상기시켜보자. 지금까지 했던 계산(loss, gradient descent 등등)들을 graph 형태로 정리할 수 있었는데 이를 "Computational graphs"라고 합니다. 이는 이번장에서 다룰 "Backpropagation"에 매우 유용하다고 합니다. "Backpropagation"이 어떻게 수행되는지 알아 볼 것이다. 아래처럼 더 확장하여 Layer를 다음과 같이 쌓아 복잡한 네트워크를 구성한 예제들이 있는데, 복잡한 모델도 "Computational graphs" 원리를 이용해 "Backpropag.. 2020. 3. 29. [07] One-Dimensional Search Methods 2020. 3. 27. [06] Basics of Set-Constrained and Unconstrained Optimization 2020. 3. 27. [05] Elements of Calculus 2020. 3. 27. [04] Concepts from Geometry references : E.K.P. Chong and S.H. Żak, An Introduction to Optimization, Wiley, 2013. 4.1 Line Segments (선분) n차원에 point x 와 point y 가 있다고 하자. point를 vector로 표현 가능. [Figure 4.1]을 보면 x 와 y 점이 찍혀있을 때, 두 점을 연결한 것을 확인할 수 있는데, 이때, x 와 y 사이를 연결하는 선을 Line segment라고 한다. 그 위에 z를 올려보면 z는 x와 y에 대해 아래와 같은 관계식를 가진다. 따라서, 위 방정식을 z (좌변)중심으로 다음과 같이 정리할 수 있다. 알파는 [0 ~ 1] 사이의 real number(실수). 4.2 Hyperplanes and L.. 2020. 3. 27. [03] Transformations 2020. 3. 27. [02] Vector Spaces and Matrices 2020. 3. 27. 2.2 Solution Sets of Linear Systems Homogeneous Linear Systems. Example1. Determin whether there is a nontrivial solution. 위 3개의 선형방정식을 만족하는 해를 굉장히 간단하고 멋있는 꼴인 Span {v} (3차원 공간에서의 Line)으로 로 표현할 수 있다. Example2. Determin whether there is a nontrivial solution. 위 1개의 선형방정식을 만족하는 해를 Span {u. v} (3차원 공간에서의 Plane)으로 로 표현할 수 있다. Generalization of the solution of Homogeneous Linear Systems. Span{0}인 nontrivial solution도 역시 Homogeneous를 만족.. 2020. 3. 25. Lecture 3 : Loss Functions and Optimization 이번 장에서 다룰 내용들은 다음과 같다. Linear classification II Higher-level representations, image features Optimization, stochastic gradient descent Lecture 3를 본격적으로 들어가기 전에 Lecture 2의 내용을 잠시 상기시켜보자. "Challenges of recognition" "data-driven approach, kNN" "Linear Classifier" "cat", "automobile" ,"frog" 3개의 데이터에 대해 "Linear Classifier"로 Score를 구하면 각각 10개의 class에 해당하는 score를 구하고, 그 값이 가장 큰 값에 해당하는 클래스를 구분하는 것까지 .. 2020. 3. 22. Lecture 2 : Image Classification 2020. 3. 22. 1.3 Vector Equations (벡터 방정식) 2차원에서 Vector를 표현하는 방법을 살펴보자. 서로 다른 벡터(u vector, v vector)의 합(좌) 그리고, 어느 한 벡터의 scalar 곱은 아래와 같이 연산되며, 기하학적 의미도 확인해보자. 2차원 뿐만아니라 3차원 ~ n차원까지 vector는 곻간 존재할 수 있다. n차원에서의 Algebraic properties는 다음과 같다. (증명은 element들을 활용하여 일반화 시키면 된다.) linear combinations를 살펴보자. 예제를 풀어보자. 위 예제로 agumented matrix의 해가 존재하는가? (당연히 consistent!) Span에 대해 알아보자. 2020. 3. 20. [01] Mathematical review 교재 : E.K.P. Chong and S.H. Żak, An Introduction to Optimization, Wiley, 2013. 를 참고하여 내용 정리함 2. VECTOR SPACES AND MATRICS 2.1 Vector and Matrix column n-vector row n-vector 2020. 3. 18. 이전 1 ··· 4 5 6 7 8 9 다음
