분류 전체보기118 [Theme 07] Back Propagation 설명 안녕하세요 pulluper 입니다. 😄 이번 포스팅은 드디어 Back Propagation에 대하여 다뤄보도록 하겠습니다. 지난 시간에 다룬 MLP에 대하여 이어서 다뤄보겠습니다. 다음과 같은 MLP 가 있다고 하겠습니다. 이를 그림으로 표시하면 다음과 같습니다. 2개의 feature 를 갖는 하나의 input을 네트워크에 넣었을때의 그림입니다. x1, x2 에서 h1, h2, h3 로 갈때를 수식으로 표현하면 다음과 같습니다. (h1, h2, h3) = $\phi$ (XW + B) 로 표현할 수 있습니다. $\phi$ 는 activation function 입니다. 혹은 다음과 같이 XW + B 를 matrix multiplication으로 한번에 표현 할 수 있습니다. 이런 방식으로 전체 네트워크 o.. 2023. 1. 25. [Theme 00] Basic Machine Learning 정리 scheduler! [Theme 01] What is the AI [Theme 02] Linear Regression [Theme 03] Logistic Regression [Theme 04] Softmax Regression [Theme 05] MLE [Theme 06] XOR / Perceptron / MLP [Theme 07] Back Propagation/Gradient Descent [Theme 08] Machine Learning tip [Theme 09] Convolution 2023. 1. 24. [Theme 06] Perceptron, XOR, MLP, Universal Approximation Theorem 안녕하세요 pulluper 입니다. 이제 ML 6번째 주제입니다. 이번 시간에는 perceptron의 개념과, xor 문제, 그리고 MLP의 개념에 대하여 살펴 볼 것이고, Universal Approximation Theorem 에 대하여 알아보겠습니다. 그럼 시작하겠습니다 😀😀😀 1. Perceptron 퍼셉트론은 우리몸의 뉴런을 모방해서 만든 다수의 입력(input)으로 하나의 출력(output)을 만드는 일종의 신호 전달 알고리즘 입니다. 아래의 그림과 같이 뉴런은 왼쪽부분에서 신호를 받고 어떤 임계값(threshold) 이상이면 신호를 오른쪽 부분으로 전달해줍니다. 이와같이 Perceptron 은 다수의 입력들에 대하여 $\sigma(XW+ b)$ 의 출력을 내 보내는 것처럼 구성되어 있습니다... 2023. 1. 24. [Nerf] NeRF(Neural Radiance Fields for View Synthesis) 리뷰 및 구현 (ECCV2020) 안녕하세요 pulluper 입니다 :) 이번포스팅은 ECCV2020 에서 best paper를 받으며 Nerf 바람을 불러온 첫 논문 NeRF(Neural Radiance Fields for View Synthesis)에 대하여 알아보도록 하겠습니다. https://arxiv.org/pdf/2003.08934.pdf 1. Preliminary Camera Calibration 카메라의 이미지는 3차원 공간상의 점들을 2차원 평면 이미지로 투영시킨 것 입니다. Camera Calibration이란, (핀홀)카메라 모델을 기준으로 3차원 혹은 2차원으로 변환할때의 그 내부 파라미터를 구하는 과정입니다. 다음 그림을 보시면 맨왼쪽 부터 오른쪽으로 Real Space(검정), normalized plane(빨강.. 2023. 1. 24. [Object Detection] YOLOv4 리뷰 및 구현 (from YOLOv3) 안녕하세요 pulluper 입니다. 이번 포스팅에서는 2020년 arXiv에 발표된 yolo v4 에 대하여 알아보겠습니다. 🤩 https://arxiv.org/abs/2004.10934 YOLOv4: Optimal Speed and Accuracy of Object Detection There are a huge number of features which are said to improve Convolutional Neural Network (CNN) accuracy. Practical testing of combinations of such features on large datasets, and theoretical justification of the result, is required. Som.. 2023. 1. 12. performer 구현 import os import time import torch import visdom import argparse import torch.nn as nn import torchvision.transforms as tfs from torch.utils.data import DataLoader from timm.models.layers import trunc_normal_ from torchvision.datasets.cifar import CIFAR10 # performer ############################################# import math import torch import torch.nn as nn from functools import partial from ei.. 2022. 12. 12. 이전 1 ··· 9 10 11 12 13 14 15 ··· 20 다음
