전체 글105 [정형데이터] Better Features for a Tree-Based Model 다시 기록하고 공유하는 습관을 공유하고자 한다. 피드백은 언제나 환영이다. What tree models can see, and what they can’t 모델이 작동하는 방식을 이해하면 성공적인 Features를 만드는 것이 훨씬 쉬워진다. 모델의 강점(strong sides)과 약점(weak sides)을 추론하고 그에 따라 Features를 준비할 수 있기 때문입니다. 트리 기반 모델이 이해할 수 있는 Features와 사용하기 어려운 Features을 함께 살펴보자. (이러한 경우 모델을 어떻게 도울 수 있는지) How a tree-based model uses features 먼저 tree-based models이 어떻게 생겼는지 아래 [Figure 1]을 살펴보자. tree-based mod.. 2021. 11. 11. [베이지안 딥러닝] Ch4.5 Linear Models for Classification - Bayesian Logistic Regression 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear classification Probabilistic generative model Probabilistic discriminative model The Laplace Approximation Bayesian Logistic Regression 로지스틱 회귀의 베이지안적 방법론에 대해 살펴보도록 하자. 로지스틱 회귀의 정확한 베이지안적 추론은 다루기가 아주 어렵다 사후 분포를 계산하기 위해서는 사전 분포와 가능도 함수를 곱한 값을 정규화해야 하는데, 가능도 함수 그 자체가 각 데이터 포인트마다 로지스틱 시그모이드 함수를 모두 곱한 값에 해당하기 때문이다. 예측 분포를 계산하는 것 역시 비슷한 .. 2021. 4. 4. [강화학습] Lecture 2. Markov Decision Processes I 2021-1학기 서강대 김홍석 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Markov Processes Markov Reward Processes Markov Decision Processes Entensions to MDPs ch2는 model based 기반 MRP, MDP에 대한 정의 및 예제를 다루고자 한다. 이후 ch3에서 MDP를 푸는 방법을 다룰 것이다. 1. Markov Processes ▶ Introduction to MDPs MDPs (Markov decision processes) formally describe an environment for reinforcement learning Where the environment is fully observabl.. 2021. 3. 30. [preprocessing] pandas.DataFrame.rolling(twin_type='gaussian') Intuition behind using win_type = "gaussian" with a rolling window 센서 데이터를 처리하는데 있어서 [Figure 1]에서 파랑 line으로 수집되고 있었다. 세탁기가 작동하는 구간에 대해 label = 1로 설정을 했지만, 단순히 측정된 Power (W)를 활용하여, threshold(e.g. 1~2)로 판단했을 때, labeling 결과가 나오지 못하고 있었다. (원인, 세탁기라는 가전제품의 특성으로 물이 들어오고 나가는 경우에는 전력소모가 없다는 점, Fail로 표기된 부분) moving average, filter 등 여러 방법을 고민하던중. 결국 gaussian window (점선)을 이용하면 [Figure 2]와 같이 원하던 label을 할 .. 2021. 2. 21. [베이지안 딥러닝] Ch4.4 Linear Models for Classification - The Laplace Approximation 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Discriminant Functions Probabilistic Generative Models Probabilistic Discriminative Models The Laplace Approximation Bayesian Logistic Regression 베이지안 방법론을 적용한 logistic regression에 대해 추후 논의할 것인데, 이는 linear regression에 대한 베이지안 방법보다 더 복잡함. 특히, posterior distribution이 더 이상 gaussian distribution이 아니므로 매개변수 $\mathbf{w}$에 대해서 정확히 적분할 수가 없다. 따라서 .. 2021. 2. 20. [베이지안 딥러닝] Ch3.5 The Evidence Approximation 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear regressoin (MLE) Bias-Variance Decomposition Bayeisan linear regression Bayesian model comparison The evidence approximation Limit, of fixed basis functions The Evidence Approximation (증거 근사) ▶ Intro Need to marginalize with respect to hyper-parameters such as $\alpha$, $\beta$ $$p(t|\mathbf{t}) = \int \int \int p(t | \mathbf{w}, \b.. 2021. 2. 18. [베이지안 딥러닝] Ch3.3 Bayesian linear regression 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear regressoin (MLE) Bias-Variance Decomposition Bayeisan linear regression Bayesian model comparison The evidence approximation Limit, of fixed basis functions Bayesian linear regression ▶ Why Bayesian approach is needed? Model complexity (such as number of basis functions) needs to be determined according to data size. Cross validatio.. 2021. 2. 13. [베이지안 딥러닝] Appendix. Calculus of Variations (변분법) 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. 기존 미분에서 주로 다루는 문제 중 하나로 함수 $y(x)$를 최대화하거나 최소화하는 $x$값을 찾는 것이 있다. 이와 비슷하게 Calculus of Variations(변분법)에서는 범함수 $F[y]$를 최대화하거나 최소화하는 함수 $y(x)$를 찾는 문제를 다룬다. 모든 가능한 함수 $y(x)$들 중에서 $F[y]$를 최대화하거나 최소화하는 특정 함수를 찾는 것이다. 오일러 라그랑주 공식을 이용해서 구할 수 있는데. 우선 오일러 라그랑주 공식 [식 (2)]을 살펴보자. Therrem 1.1 The minimizing functional of the following objective function $$F(y) = .. 2021. 2. 8. [베이지안 딥러닝] Ch3.2 Bias-Variance Decomposition 2020-2학기 이화여대 김정태 교수님 강의 내용을 바탕으로 본 글을 작성하였습니다. Overview Linear regressoin (MLE) Bias-Variance Decomposition Bayeisan linear regression Bayesian model comparison The evidence approximation Limit, of fixed basis functions Bias variance decomposition 앞에서는 MLE를 이용하는 경우 overfitting이 발생한다는 단점이 있었다. 베이지안 방법론을 바탕으로 각각의 매개변수들을 주변화할 경우에는 overfitting이 발생하지 않는다. 이번 장에서는 베이지안 관점에서의 모델 복잡도에 대해서 더 깊이 살펴보려 한다... 2021. 2. 7. [Paper Review] MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS Contents Introduction Dilated convolutions Multi-Scale context aggregation Front-End Experiments Conclusion Keywords Image Segmentation, Dilated convolutions Introduction Computer vision에서 다루는 많은 문제들은 instances of dense prediction 이며, 목적은 이미지의 각 픽셀에 대해 연속/불연속 label을 계산하는 것이다. (Example : semantic segmentation (classifying each pixel into one of a given set of categories) semantic segmenation은 pix.. 2021. 2. 5. [Paper Review] UNet++ : A Nested U-Net Architecturefor Medical Image Segmentation 본 포스팅은 모두의연구소(home.modulabs.co.kr) [풀잎스쿨 15기] 에서 진행된 'Semantic Segmentation 논문으로 입문하기' 과정 내용을 공유 및 정리한 자료입니다. Contents Introduction Related Work Proposed Network Architecture: UNet++ Experiments Conclusion Keywords Medical Image Segmentation Introduction Image segmentation에서 SOTA(최신 모델)는 U-Net, FCN처럼 the encoder-decoder 아키텍처의 변형 U-net, FCN 모델들의 성능이 좋았던 이유는 아래 그림에서의 구조에서 표시된, 즉, 노랑 타원형으로 강조된 "ski.. 2021. 2. 3. 2021 독서 리스트 나는 아마존에서 미래를 다녔다. 조직을 성공으로 이끄는 프로덕트 오너 PO가 말하는 애자일 혁신 전략 .... 2021. 1. 23. 이전 1 2 3 4 ··· 9 다음
