목적: train loss를 최소화 하는 것 loss function은 loss를 구하는 것 target function은 loss function을 통해 나온 loss값으로 loss가 최소가 되도록 weight를 갱신하는 것 1. Gradient Descent (GD) objective (or cost) function to minimize: f(x) = x^3 – 2x^2 + 2 to find a local minimum, n min ∑ wi(x - bi)^2 i=1 loss(w) | \ | \ | | | \ / | +- -+ | \ / | +--+ +---------------------- w | | | | w w w w (1)(2)(4)(3) w를 random하게 정함 입력으로 구해진 loss에 ..

loss function https://autumnrain.tistory.com/9 모델 평가 지표 평가지표와 목적함수 목적함수 모델 학습 시 최적화되는 함수 목적함수로 사용한 오차가 최소가 되도록 결정 트리의 분기나 선형 모델의 회귀계수 추가 및 갱신을 수행 목적함수는 ‘미분’을 autumnrain.tistory.com 회귀 평가인지, 이진평가인지(분류평가), 추천 평가인지에 따라 모델을 학습할때 사용하는 '목적함수' 즉, cost/loss function을 적절히 선택해야 한다. 회귀 평가지표 RMSE RMSLE MAE 결정계수 이진분류 평가지표 혼동행렬 정확도/오류율: 나의 예측의 정확도 정밀도/재현율: 양성 예측의 정확도 F1-score: 정밀도와 재현율의 조화평균 Fβ score: F1에 β의 ..

# 특징생성 ## 모델과 특징 ### GBDT 값의 대/소관계만 봄 (절대값을 보지 않음) 변수의 범위(Scale) 및 분포를 크게 신경쓰지 않음 결측 처리 가능 (DNN은 처리 불가) decision tree 내 분기의 반복으로 변수간 상호작용을 반영 범주형 변수(OHE)이 아닌 label encoding을 해도 학습 가능 ### 신경망 값의 범위에 영향(성능에 영향) 결측이 없어야 함 layer간의 결합을 통한 변수간 상호작용 반영

자연어 처리? 한국어와 영어 등 우리가 평소에 쓰는 말을 자연어라고 하며, 이를 처리하는 분야가 자연어 처리임 자연어를 컴퓨터가 이해하도록 만들어 우리에게 도움이 되는 일을 수행하게 하는 것이 NLP thesaurus (시소러스) 표준국어대사전(:각각의 단어에 그 의미를 설명) 처럼, 일반적인 사전이 아닌 사전 기본적으로 유의어 사전 뜻이 같은 단어(동의어)나 뜻이 비슷한 단어(유의어) 가 한 그룹으로 분류 됨 시소러스의 문제점 수정이 힘듦 시대가 변하면 신조어가 생기고, 단어가 없어지기도 함 만드는데 많은 노력이 필요함 WordNet 에 등록된 단어는 20만개 이상 이를 피하기 위해 통계 기반 기법 신경망을 사용한 '추론 기반 기법'을 사용 -> 단어의 의미를 자동으로 추출 이는 영상 인식에서 feat..