Hyperparameter에 관한 기초 내용은 아래 post를 참조하길 바란다. Hyperparameter Hyperparameter를 더 세부적으로 분류하면 모델의 구조에 관여하는 architectural hyperparameters와 모델의 학습 과정에 관여하는 training hyperparameters가 있다. Training Hyp...

Recurrent neural network (RNN)은 sequential data를 처리하는 것에 특화된 neural network로, 자연어 처리(natural language processing, NLP), 기계 번역(machine translation) 등 다양한 분야에서 사용된다. 기존의 FNN은 고정된 크기의 input과 output을 ...

Image 분류 및 처리 등에 있어서 탁월한 성능을 보인 convolutional neural network (CNN)에 대해서 정리하고자 한다. CNN은 FNN에서 feedforward 과정에서 진행했던 matrix multiplication 연산을 convolution 연산으로 바꾼 것이 가장 큰 핵심으로, 기존의 모델이 image의 spatial...

우리는 앞서 FFN을 통해 input layer부터 output layer까지 순서대로 값을 계산하고 저장하는 작업을 수행했다. 이를 forward propagation이라고 한다. 이후, 이렇게 forward propagation을 통해 계산된 output과 미리 정의한 loss function으로 loss를 구하고, SGD 등의 학습 방법론을 이...

FeedForward Neural Networks (FNN) Feedforward neural network (FNN)는 가장 핵심적이고 기본적인 deep learning model이다. Deep feedforward network 또는 multi-layer perceptrons (MLP)로도 불린다. FFN도 일종의 input $x$를 넣으면 ou...

Architecture Design Architecture란 network의 전반적인 구조를 말한다. Neural networks에서의 architecture란 몇 개의 layer를 사용할 것인지, 각 layer 별로 몇 개의 unit을 어떤 식으로 사용할 것인지, 각 unit들을 어떻게 연결할 것인지와 같은 의사결정을 통해 생성되는 network의 ...

Basic statistics와 matrix derivatives 등 앞서 post에서 다룬 기초 수학 내용 및 deep learning의 학습의 기본이 되는 gradient descent 등의 방법론은 아래 post를 참고 Basic Statistics Matrix Computation Calculus Backgrounds Stoc...

Deep Learning as a Machine Learning Machine Learning (ML)은 주어진 x (predictor)와 y (response)에 대해 function f (즉, y=f(x))를 data로부터 배우는 것을 말한다. 이는 전통적인 programming 방식인 주어진 x와 f()로부터 y를 계산하는 것과 다르다. De...

Clustering이란 대표적인 unsupervised learning 방법 중 하나로, data set에 대해서 homogeneous subgroup 또는 cluster를 찾는 기법을 말한다. Clustering이란 기본적으로 어떤 algorithm과 measure를 사용할 지에 대해서 domain 지식과 경험을 기반으로 subjective하게 판...

Support Vector Machines(SVMs)는 deep learning model의 큰 발전이 있기 전에는 boosting과 함께 가장 널리 사용되던 machine learning model이다. Seperating Hyperplane Classification 문제에 대해서, SVM은 기본적으로 class를 가장 잘 분리하는 plane, ...