제프리 힌튼이 찾은것은 계속 같은 parameter에 대해서 미분을 하고 있음 layer를 계속 거치면서 편미분의 횟수가 quadratic의 quadratic...으로 계산 이미지는 수만개의 learning parameter 이미지의 각 feature는 pixel ! 중복 없이 하려면? back-propagation back-propagation 편미분의 중복을 없애고 효율적으로 수행 각 layer들의 여러 weight들의 최적화를 위해 미분값을 구함 미분의 체인룰 사용 x3 x4 ----> g(x) -------> f(x) ----> x g(x) f(g(x)) 1 3 12 (x*3)*4 x가 소량 증가 시 g(x)가 얼마나 증가하는지 delta를 의미 f(g(x))를 x로 미분하고자 함 d f(g(x)..

logistic function (= sigmoid) 출력층에서 0 ~ 1 사이의 출력을 표현하기 위해 사용 이항 분류 시 출력층에서 사용 은닉층에서는 보통 사용하지 않음 0~1 사이 값 즉, 양수 이기에 음수 경사 표현이 불가능 함수의 양쪽끝에서 경사가 거의 0임 즉, -3 이하의 입력 값에서는 출력이 거의 0으로 saturation 됨 softmax 3가지 이상의 범주로 출력을 분류 시 사용 -inf ~ inf 의 값을 0 ~ 1 범위 값으로 변환 확률이기에 각각의 출력의 총 합은 1 즉, 10가지 out type들이 있을 시, 각각은 1이하의 값으로 출력되고 (확률) 합은 1 Hyperbolic Tangent (쌍곡탄젠트) logistic 함수와 비슷하지만 -1.00 ~ 1.00의 범위로 출력 출력..

목적: train loss를 최소화 하는 것 loss function은 loss를 구하는 것 target function은 loss function을 통해 나온 loss값으로 loss가 최소가 되도록 weight를 갱신하는 것 1. Gradient Descent (GD) objective (or cost) function to minimize: f(x) = x^3 – 2x^2 + 2 to find a local minimum, n min ∑ wi(x - bi)^2 i=1 loss(w) | \ | \ | | | \ / | +- -+ | \ / | +--+ +---------------------- w | | | | w w w w (1)(2)(4)(3) w를 random하게 정함 입력으로 구해진 loss에 ..

loss function https://autumnrain.tistory.com/9 모델 평가 지표 평가지표와 목적함수 목적함수 모델 학습 시 최적화되는 함수 목적함수로 사용한 오차가 최소가 되도록 결정 트리의 분기나 선형 모델의 회귀계수 추가 및 갱신을 수행 목적함수는 ‘미분’을 autumnrain.tistory.com 회귀 평가인지, 이진평가인지(분류평가), 추천 평가인지에 따라 모델을 학습할때 사용하는 '목적함수' 즉, cost/loss function을 적절히 선택해야 한다. 회귀 평가지표 RMSE RMSLE MAE 결정계수 이진분류 평가지표 혼동행렬 정확도/오류율: 나의 예측의 정확도 정밀도/재현율: 양성 예측의 정확도 F1-score: 정밀도와 재현율의 조화평균 Fβ score: F1에 β의 ..