[weekly project] 회귀 모델을 이용한 펭귄 몸무게 예측

프로젝트 소개🐧

주어진 펭귄 데이터셋을 활용하여 펭귄의 몸무게를 예측하는 회귀 모델을 만든다. 회귀 모델은 다중 회귀, 라쏘, 릿지 리그레션을 이용한다. 또한 어떤 독립 변수가 몸무게에 가장 영향을 많이 미치는지 알아보는 프로젝트를 진행했다.

Data📂

• 데이터 상세

  • species: 펭귄 종 (Chinstrap, Adélie, or Gentoo)

  • culmen_length_mm: 부리 길이 (mm)

  • culmen_depth_mm: 부리 두께 (mm)

  • flipper_length_mm: 날개 길이 (mm)

  • body_mass_g: 몸무개 (g)

  • island: Palmer 군도의 섬 이름 (Dream, Torgersen, or Biscoe)

  • sex: 성별

    

• 초간단 펭귄 지식❗️

  

  펭귄은 크기에 따라 종류가 총 5가지로 나뉜다. 그 중 우리 데이터 셋에는 젠투펭귄 종만 있기 때문에 젠투펭귄에 대해서 자세히 알아보면!

  • Gentoo펭귄

    

    • 서식지: 포클랜드 제도, 사우스조지아 섬에 주로 서식, 킹 조지 섬에서도 서식함.
    • 성격: 같은 속에 속하는 턱끈펭귄과 아델리펭귄과는 다르게 온순한 편.
    • 특징: 키는 51cm ~ 90cm 정도 되며 몸무게는 수컷이 최대 8.5kg 최소 4.9kg이고 암컷은 수컷보다는 약간 작으며 최대 8.2kg에서 최소 4.5kg정도 된다. 펭귄 가운데서 황제펭귄과 왕펭귄에 이어 덩치가 3번째로 큰 펭귄 (황제, 왕펭귄 제외하면 다들 고만고만하긴 함…)
    • 최대 시속 36km까지 유영할 수 있어 가장 빠르게 수영하는 새이자 육상동물. 인간의 수영이나 달리는 속도는 물론 평균적인 자전거 달리기 속도의 2배다. 우샤인 볼트급 100미터 달리기 속도나 프로 사이클링 선수의 속도 경기기록 정도이다.

  • Chinstrap펭귄

    

    • 서식지: 남극반도, 사우스조지아 사우스샌드위치 제도, 부베 섬 등에서 서식. 젠투펭귄과 함께 세종 과학기지에도 자주 목격됨.
    • 성격: 날카로워 보이는 인상에 걸맞는 더럽고 사나운 성깔을 가짐
    • 특징: 외형은 크기는 약 72cm 몸무게는 6~7kg 가량 되는 중형종

  • Adeli펭귄

    

    • 서식지: 주요 서식지는 남극대륙으로, 본토와 남극반도뿐 아니라 스콧섬, 페테르 1세섬, 사우스셰틀랜드 제도, 사우스오크니 제도, 사우스조지아 사우스샌드위치 제도, 해스웰섬 등 주위 열도에 대부분 분포
    • 성격: 작고 귀여운 외형과 달리 성격이 매우 더럽다. 호기심이 많고 겁이 없어서 공격성이 높은데 성깔이 턱끈펭귄과 맞먹을 정도라고 한다.
    • 특징: 젠투펭귄 속에서 가장 작은 종이자 펭귄 전체 가운데에서는 중형종으로, 키는 65-75cm에 이르며, 몸무게는 3.9-6.5kg 정도로 나간다

  → 몸무게: 젠투 > 턱끈 > 아델리 순으로 높은 것을 알고 가면 좋겠다!
  

---

전처리 및 EDA

• 결측치 확인

  

  성별에 7개의 결측치가 있었다. 7개밖에 없어서 제거를 해야하나 생각했지만 train 데이터 셋이 273개로 생각보다 적어서 임의로 넣어주기로 했다.

  

  각 성별의 몸무게 평균값을 내고 나온 결과를 또 평균을 내서 4220.162보다 높으면 MALE로, 낮으면 FEMALE로 채워주었다.

  또, 성별에 의미없는 값 ‘.’(점)이 포함되어 있어 해당 데이터는 제거해주었다.

  전체 273개 데이터 중 1개를 제외하고 모두 사용할 수 있게 되었다👏
  

각 변수(부리 길이, 부리 높이(?), 날개 길이)의 히스토그램을 그려봤다. 생각한 것과 다르게 꽤 완만한 분포를 띠고 있다고 판단해서 따로 처리는 하지 않았다.

각 종들의 개체 수를 그래프로 나타내 보았다. 아델리 펭귄은 43.38%, 젠투 펭귄은 37.13%, 턱끈은 19.49%로 아델리 펭귄의 개체 수가 가장 많았다.

각 서식지에 분포하고 있는 펭귄의 수를 그래프로 나타내 보았다. Biscoe 섬에 서식하는 펭귄이 압도적으로 많았고 Dream, Torgersen 섬이 차례로 이어졌다.

왼쪽 bar 그래프를 보면 얼라리?.? 아델리 펭귄은 모든 섬에 골고루 분포하고 있는 것을 볼 수 있다. 이를 통해

서식지에 따라 몸무게에 변화가 있을 것이다! 라는 가설을 세워보았다.

• ANOVA 분석 3개 집단을 비교해야하기 때문에 ANOVA 분석을 실시하였다.

  • 귀무가설: 모든 그룹의 평균이 같다. (각 섬에 서식하는 아델리 펭귄의 몸무게 평균은 같다)

  • 대립가설: 적어도 한 그룹의 평균은 다르다. (적어도 하나의 섬에서의 평균 몸무게는 다르다)

    stat, pvalue = f_oneway(biscoe.loc[:, "weight"], dream.loc[:, "weight"], torgersen.loc[:, "weight"])
    if pvalue < 0.05:
        print(f"p-value: {pvalue} -> 귀무가설 기각!")
    else:
        print(f"p-value: {pvalue} -> 귀무가설 채택!")

    

    One_way ANOVA를 실시한 결과 유의확률이 유의수준 0.05보다 크기 때문에 귀무가설을 기각할 수 없다. 즉, Biscoe, Dream, Torgersen 3개 섬에 서식하는 아델리 펭귄의 몸무게 평균은 같다고 할 수 있다. 고로 서식지와 몸무게 간의 관계는 없다고 할 수 있을 것 같다.

    

    violinplot을 그려봐도 별 차이가 없는 것을 확인할 수 있다.

    → 앞으로 island 변수 고려❌

그렇다면 몸무게에 영향을 미치는 변수는 무엇이 있을까? 이를 확인하기 위해 히트맵을 그려보았다.

그 전에, 성별과 펭귄 종이 몸무게에 영향을 미칠 것 같아서 각각 label encoding과 one-hot encoding을 진행했다.

• 성별 Label encoding

  

  0: Female, 1: Male
  

• 펭귄 종 one-hot encoding

  

  dummy 변수(?)를 추가하고 원래 있던 species 열은 제거해주었다.
  

전처리를 마친 후 히트맵을 그려보았다. ANOVA 분석 결과에서 서식지와 몸무게는 별다른 연관성이 없다고 나왔기 때문에 island 열은 제외하고 그렸다.

날개 길이와 젠투펭귄에서 강한 상관관계가 있는 것을 확인할 수 있었다. 이를 바탕으로 다중 선형 회귀 모델을 학습시킬 때 2개(flipper_length_mm, species_Gentoo)는 기본으로 가져가면 좋겠다고 생각했다.

• 젠투 펭귄
  • 다른 펭귄들에 비해 몸무게가 높고 날개 길이가 길다. 그에 반해 부리 두께는 다른 펭귄들에 비해 얇다.
• 아델리 펭귄
  • 부리 길이와 날개 길이 모두 짧고 몸무게도 낮은 것을 볼 수 있다. 부리 두께는 꽤 다양한 사이즈를 가지는 것을 볼 수 있다. 특히 부리 길이가 다른 펭귄들에 비해 눈에 띠게 짧다.
• 턱끈 펭귄
  • 턱끈 펭귄은 도드라지는 특징은 크게 없이 무난한 분포를 가진다.
  • 아델리 펭귄보다는 부리 길이가 길고 젠투 펭귄보다는 아주 약간 긴 것 같다. 부리 두께는 젠투 펭귄보다는 확실히 두껍고 아델리보다는 약간 얇은 것 같다.

모든 부분에서 수컷 펭귄이 암컷 펭귄보다 신체적인 특징에서 우위에 있는 것을 볼 수 있다.

회귀 모델 학습

• 다중 선형 회귀 학습

  처음 학습시킬 때 상관관계가 높은 4개 변수를 추가해서 결과를 찍어보았다.

  x_cur_train = x_train[["flipper_length_mm", "species_Gentoo", "sex", "culmen_depth_mm"]]
  results = train_multiple_linear_regression(x_cur_train, y_train)

  

  R2값이 0.867로 높고 각 변수들의 유의확률도 매우 유의해서 처음부터 좋은 모델이⁉️ 하고 기대하면서 VIF 값을 찍어보았다.

  

  VIF 값을 확인할 결과 flipper_length와 culmen_depth의 값이 10보다 너⍨⍨⍨⍨무 크게 나온 것을 확인했다. 이는 해당 독립 변수가 다른 독립 변수에 의존하고 있다는 의미이므로 일단 가장 높은 VIF 값을 출력한 flipper_length를 제거한 후 다시 확인해보았다.

  

  flipper_length를 제거한 후 VIF 값을 다시 확인해보니 나머지 변수들 모두 10이하로 낮게 나온 것을 확인했다.

  flipper_length를 제거한 데이터로 다시 다중 선형 회귀 모델을 돌렸을 때 결과는 다음과 같았다.

  

  변수가 4개였을 때 R2(0.867) 보다 조금 낮은 0.855(85%나 설명할 수 있다니…)로 꽤 나쁘지 않은 성능이라고 할 수 있겠다. 그리고 f스코어의 유의확률을 확인했을 때에도 유의확률이 매우 작아서 괜찮은 모델이라고 생각했다.

  2번째 표) 각 변수들의 유의확률이 0.00으로 매우 유의한 값이므로 제거할 변수는 없었다.

  3번째 표) skewness의 절대값이 2보다 작으므로 정규분포에서 크게 벗어나지 않는다고 할 수 있겠다. 또한 kurtosis의 절대값이 7보다 작기 때문에 정규성을 벗어나지 않는다고 할 수 있다.

  → R2 값 높고, 각 변수들의 유의확률 모두 유의하고, 마지막으로 정규성을 벗어나지 않았기 때문에 꽤 괜찮은 모델이라고 할 수 있겠지? (좋은 성능을 기대한다면 미안하지만 다른 모델로 가시길...)
  

• Lasso (L1)

  Lasso 모델을 학습시키기 전에 x_test 데이터셋도 x_train과 똑같이 전처리를 해주었다.

  성별 → label encoding, 펭귄 종 → one-hot encoding 진행

  import numpy as np
  
  model = Lasso()
  model.fit(x_cur_train, y_train)
  y_pred = model.predict(x_cur_test)
  print("R2 score", r2_score(y_test, y_pred))
  print("MSE", np.sqrt(mean_squared_error(y_test, y_pred)))
  print("sum of abs coefficient", np.abs(model.coef_).sum())

  

  다중 선형 회귀의 R2 값 보다 조금 떨어지지만 비슷한 값을 유지하는 것을 볼 수 있다.

  alpha 값은 뭘 지정하는지 몰라서 지정하지 않았습니다
  

• Ridge (L2)

  import numpy as np
  
  model = Ridge()
  model.fit(x_cur_train, y_train)
  y_pred = model.predict(x_cur_test)
  print("R2 score", r2_score(y_test, y_pred))
  print("MSE", np.sqrt(mean_squared_error(y_test, y_pred)))
  print("sum of abs coefficient", np.abs(model.coef_).sum())

  

  Lasso 모델과 비슷한 R2 값을 가지는 것을 볼 수 있다.
  

• 3개 모델 비교

---

인사이트🐧

• 강한 상관관계를 가진다고 해서 선형 회귀 모델에서 유의한 변수가 되는 것은 아니다. 상관관계는 그저 참고 사항에 지나지 않았다.

• 펭귄의 무게를 예측할 때 성별, 부리 두께 그리고 젠투펭귄인지 아닌지의 여부만 안다면 어느정도 가능할 것 같다.

• 다중 선형 회귀 모델의 변수에 젠투 펭귄의 여부가 들어간 것은 젠투 펭귄의 무게가 다른 종들에 비해 눈에 띠게 높아서 그런 것 같다고 예상해보았다.

• 성능을 원한다면 돌아가세요…