Basic ML8 [Theme 07] Back Propagation 설명 안녕하세요 pulluper 입니다. 😄 이번 포스팅은 드디어 Back Propagation에 대하여 다뤄보도록 하겠습니다. 지난 시간에 다룬 MLP에 대하여 이어서 다뤄보겠습니다. 다음과 같은 MLP 가 있다고 하겠습니다. 이를 그림으로 표시하면 다음과 같습니다. 2개의 feature 를 갖는 하나의 input을 네트워크에 넣었을때의 그림입니다. x1, x2 에서 h1, h2, h3 로 갈때를 수식으로 표현하면 다음과 같습니다. (h1, h2, h3) = $\phi$ (XW + B) 로 표현할 수 있습니다. $\phi$ 는 activation function 입니다. 혹은 다음과 같이 XW + B 를 matrix multiplication으로 한번에 표현 할 수 있습니다. 이런 방식으로 전체 네트워크 o.. 2023. 1. 25. [Theme 00] Basic Machine Learning 정리 scheduler! [Theme 01] What is the AI [Theme 02] Linear Regression [Theme 03] Logistic Regression [Theme 04] Softmax Regression [Theme 05] MLE [Theme 06] XOR / Perceptron / MLP [Theme 07] Back Propagation/Gradient Descent [Theme 08] Machine Learning tip [Theme 09] Convolution 2023. 1. 24. [Theme 06] Perceptron, XOR, MLP, Universal Approximation Theorem 안녕하세요 pulluper 입니다. 이제 ML 6번째 주제입니다. 이번 시간에는 perceptron의 개념과, xor 문제, 그리고 MLP의 개념에 대하여 살펴 볼 것이고, Universal Approximation Theorem 에 대하여 알아보겠습니다. 그럼 시작하겠습니다 😀😀😀 1. Perceptron 퍼셉트론은 우리몸의 뉴런을 모방해서 만든 다수의 입력(input)으로 하나의 출력(output)을 만드는 일종의 신호 전달 알고리즘 입니다. 아래의 그림과 같이 뉴런은 왼쪽부분에서 신호를 받고 어떤 임계값(threshold) 이상이면 신호를 오른쪽 부분으로 전달해줍니다. 이와같이 Perceptron 은 다수의 입력들에 대하여 $\sigma(XW+ b)$ 의 출력을 내 보내는 것처럼 구성되어 있습니다... 2023. 1. 24. [Theme 05] MLE (Maximum likelihood estimation) 을 통한 Loss 안녕하세요 pulluper 입니다! 😀 저번까지 linear regression, logistic regression, softmax regression 등의 개념을 살펴보았는데요. 머신러닝공부를 하다보면 나오는 심심찮은 개념인 MLE 이름은 익숙한데, 실제 개념이 헷갈리시다면 이번 포스팅을 잘 읽어보시기 바랍니다! 이번 시간에는 MLE의 개념과, 이를통해서 만들어지는 Loss의 특징들에 대하여 알아보겠습니다. 목차는 다음과 같습니다. Likelihood (bayes' rule) MLE Negative Log Likelihood Examples 먼저 bayesian rule 에 나오는 likelihood 와, MLE에 개념, 이를 Loss 로 사용하는 NLL, 그리고 task에 맞는 examples 들의.. 2022. 7. 5. [Theme 04] Multinomial Logistic Regression (Softmax Regression) 안녕하세요 pulluper 입니다. 🔗 이번 포스팅에서는 다중 클래스 분류를 위한 multinomial logistic regression (softmax regression) 에 대하여 알아보겠습니다. 목적은 여러 클래스의 분류를 위함입니다. 예로는 MNIST, CIFAR, Imagenet 등 여러 데이터에서 각 사진에 대한 class label 을 판단하는 문제를 들 수 있습니다. 먼저 예를 들어서 sigmoid 와 softmax 방법의 차이를 알아보겠습니다. 이번에도 철수에 관한 이야기입니다. 철수는 저번의 실수 이후로 데이터 분석에 관심이 생겼습니다. 철수는 공부시간과 수업참석에 따른 학점을 분류하고 싶었습니다. 그래서 다음과 같은 data를 얻었습니다. 이를 그래프로 나타내면 아래 그림의 왼쪽과.. 2022. 6. 30. [Theme 03] Logistic Regression (odds/logit/sigmoid/bce) 안녕하세요 pulluper 입니다. 😀 이번 포스팅에서는 Logistic Regression model 에 대하여 알아보겠습니다. 이전의 [Linear Regression] 에서는 종속변수 Y가 연속적 이었습니다. 즉, 철수가 시험공부시간을 예측하는데, 예측점수 y는 0~100 까지의 연속적인 data입니다. 그런데, 만약 이번에는 종속변수가 범주형 (0, 1 혹은 여러 class) 이라면 그대로 Linear Reression 을 사용하기는 문제가 있습니다. 다음 그림에서 x축은 공부 시간이고, y축은 시험에 합격, 불합격을 나타내는 0, 1 의 binary label 입니다. 이를 linear regression 으로 다음과 같은 직선을 얻었다고 가정해 봅시다. y = 0.25x - 0.5 그리고 자료.. 2022. 6. 7. 이전 1 2 다음
