Model evaluation은 당연하게도 무척 중요하다. 특정 application에 적용할 model이라면, 해당 application에서 요구하는 수준의 performance를 낼 수 있는지 미리 확인 할 수 있어야 한다. 또한, model 자체를 optimizing 하는 것에 있어서도 optimal의 기준이 되는 metric이 필요하다. 여기...

Logistic regression과 다른 방법으로도 classification을 진행할 수 있다. 각 class 별 X의 distribution을 modeling하고, Bayes theorem을 적용해 $Pr(Y\mid X)$를 얻는다. 이를 discriminant analysis 방법이라고 한다. Bayes Theorem for Classifi...

주어진 data, 또는 feature vector X,에 대해, 해당 data가 어떤 category에 포함될 지를 결정하는 것을 classification이라고 한다. 이는 X가 각 category C에 포함될 확률을 통해 결정된다. Classification with Linear Regression 예를 들어, ‘No’이면 Y=0, ‘Yes’이면...

Linear regression은 가장 간단한 버전의 supervised learning으로, 이는 $Y$가 $X_1, X_2, \dots, X_p$와 linear dependency를 가진다고 가정한다. 현실의 data는 결코 linear가 아니지만, linear model은 구현과 계산이 쉽고, 해석이 가능하다는 큰 장점이 있어 여전히 널리 사용...

Regression Function 두 variable Y, X가 있을 때, X를 사용해서 Y를 예측하는 model은 다음과 같이 쓸 수 있다. [Y=f(X)+\epsilon] Y: response, target X: feature, input, predictor $\epsilon$: errors $f$: regression fun...

Pathological Curvatures In the above figure, finding the minimum of the loss surface inevitably requires passing through steep valleys. At point $A$, calculating the gradient reveals that the mag...

Remind: Calculus Backgrounds Gradient Descent Common machine learning methods find the value that minimizes the loss function using the steepest descent method or gradient descent (GD). [\theta^...

Pure Optimization vs Machine Learning Training? The goal of pure optimization is very clear: to find the optimum! Step 1. Represent the problem as a mathematical formulation (as much ...

Constrained Optimization General Constrained Optimization [\begin{aligned} & \text{minimize} & & f(x) & \text{subject to} & & g_i(x) \le 0, \quad i=1,\dots,l & & &...

Theory of Unconstrained Optimization Optimality Conditions Lemma: Suppose that $f: \mathbb{R}^n \rightarrow \mathbb{R}$ is differentiable at $\bar{x}$. If there is a vector $d \in \mathbb{R}$ su...