정규화

정규화

• Normalization
• Standardization
• Regularization

 

Normalization

값의 범위를 특정 범위로 바꾸는 것

e.g., 0 - 1 사이로 값을 조절

(val - min_val) / (max_val - min_val)

• 학습 시 gradient가 fluctuation 하는 것을 막고 optimal cost로 수렴하게 해 줌
• 영상의 HDR 처리와 같은 원리
  • HDR 처리를 하면 어두운 곳부터 밝은곳까지 골고루 고르게 잘 보이게 됨
    • 즉, 영상 내 전체 정보를 다 확보할 수 있음
  • HDR 처리가 (정규화가) 되어 있지 않다면 어두운 부분이나 밝은 부분의 데이터가 보다 압축되어 있어서 손실됨

 

Standardization

값의 범위 (scale)이 평균이 0, 분산이 1이 되도록 변환

즉, sample들의 분포를 표준 정규 분포화 시키는 것

단, 표준정규분포로 바꾸려면 sample들의 특징이 이미 정규분포여야 함

 

scikit-learn의 StandardScaler 등을 통해 수행 가능

 

Regularization

overfitting을 막기 위해서 가중치(weight)을 조절

L1 Regularization: Lasso

L2 Regularization: Lidge