Optimization Theory (최적화 이론)8 [베이지안 딥러닝] Lagrange multipler and KKT multiplier 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Lagrange multiplier (제약식이 방정식인 경우, 제약식이 없는 최적화기법으로 변경) Karush-Kuhn-Tucker (KKT) multiplier (제약식이 부등식인 경우, 제약식이 없는 최적화기법으로 변경) 이번에는 Machine Learning에서 자주 등장하는 최적화 기법인 대표적인 "Lagrange multiplier" 및 "Karush-Kuhn-Tucker (KKT) multiplier" 를 알아보고자 한다. Largrange multiplier Consider the problem of finding the maximum of a function $f(\mathbf{x})$ s.. 2020. 10. 6. Introduction to linear programming 15.1 Brief History of Linear Programming 생략 15.2 Simple Examples of Linear Programs Formally, a linear program is an optimization problem of the form $$\begin{array}{cl} \operatorname{maximize} & \boldsymbol{c}^{\top} \boldsymbol{x} \\ \text { subject to } & \boldsymbol{A} \boldsymbol{x} \leq \boldsymbol{b} \\ & \boldsymbol{x} \geq \mathbf{0} \end{array}$$ where $\boldsymbol{c} \in \mathbb{R}^{n.. 2020. 6. 18. 수학 용어 정리 Proposition (명제) 참과 거짓을 판별할 수 있는 문장. Axiom (공리) 증명이 필요없는 항상 옳다고 인정되는 명제. Theorem (정리) 수학적으로 참인 공리 또는 정의를 기반으로 증명된 명제. Lemma (보조정리) 다른 정리를 증명하는 데 쓸 목적으로 증명된 명제. Corollary (따름정리) 추론이라고도 부른다. 이미 증명된 다른 정리에 의해 바로 유도되는 명제 2020. 4. 16. [06] Basics of Set-Constrained and Unconstrained Optimization 2020. 3. 27. [04] Concepts from Geometry references : E.K.P. Chong and S.H. Żak, An Introduction to Optimization, Wiley, 2013. 4.1 Line Segments (선분) n차원에 point x 와 point y 가 있다고 하자. point를 vector로 표현 가능. [Figure 4.1]을 보면 x 와 y 점이 찍혀있을 때, 두 점을 연결한 것을 확인할 수 있는데, 이때, x 와 y 사이를 연결하는 선을 Line segment라고 한다. 그 위에 z를 올려보면 z는 x와 y에 대해 아래와 같은 관계식를 가진다. 따라서, 위 방정식을 z (좌변)중심으로 다음과 같이 정리할 수 있다. 알파는 [0 ~ 1] 사이의 real number(실수). 4.2 Hyperplanes and L.. 2020. 3. 27. [03] Transformations 2020. 3. 27. [02] Vector Spaces and Matrices 2020. 3. 27. [01] Mathematical review 교재 : E.K.P. Chong and S.H. Żak, An Introduction to Optimization, Wiley, 2013. 를 참고하여 내용 정리함 2. VECTOR SPACES AND MATRICS 2.1 Vector and Matrix column n-vector row n-vector 2020. 3. 18. 이전 1 다음
