로지스틱 회귀 logistic regression

선형 회귀 vs 로지스틱 회귀

• 선형회귀: 독립변수의 선형적 결합으로 종속 변수의 '실수 값'을 예측
• 로지스틱 회귀: 독립변수의 선형적 결합으로 종속 변수의 '범주에 들어갈 확률'을 예측
  • 왜 로지스틱이란 이름을 사용하나?
    • 어떤 값들이 fitting 하는 직선을 구할 때, sample들이 세대를 지날 수록 중앙의 선에 가까워져서 "회귀"라는 표현을 사용
    • logistic은 S 자형 곡선을 의미
    • 즉, S 자형 곡선으로 회귀

 

로지스틱 회귀(logistic regression)

• D.R.Cox 가 1958년에 제안한 확률 모델
• 독립 변수의 선형 결합을 이용하여 사건의 발생 가능성을 예측하는데 사용되는 통계 기법
• 독립 변수의 선형 결합으로 종속 변수를 설명한다는 관점에서는 선형 회귀 분석과 유사
• 선형회귀와 다르게 종속 변수가 범주형 데이터를 대상으로 함
  • 일종의 분류(classification) 기법
  • c.f. multi-nominal logistic regression
  • 즉, 입력에 대해 이 입력이 어떤 범주에 들어갈 '확률'을 구하는 것

example

어떤 키가 주어졌을 때 이 키가 남자의 키인지, 여자의 키인지를 구하는 것

166cm의 경우 남자의 확률분포와 여자의 확률분포(가우시안 분포) 값이 같은 정도임

즉, 50%의 확률로 남자 혹은 여자의 키임

 

 

분포에 따른 변화가 sigmoid 함수의 형태로 나타남

 

활용

• 경영, 경제 등 사회과학 분야, 자연과학 분야 등 다양한 분야에서 변수들 사아의 관계를 설명하고자 할 때 사용
• 설명뿐만 아니라 예측 모형으로 활용
• 선형회귀뿐만 아니라 다양한 회귀모형이 있음
• 문제 유형과 데이터 특성에 맞는 회귀모형을 사용할 필요가 있음

활성화 함수가 비선형인 경우 비선형 회귀가 됨