🍄[weekly project] RandomForest와 BoostingTree를 이용한 버섯 식용여부 예측

프로젝트 소개

• 지금까지 공부한 내용들을 바탕으로 단순히 예측에서 끝내지 않고 EDA, 시각화, 모델링까지
  전 과정에 걸쳐 시도한 첫 주간 프로젝트이다.
• 버섯의 각 특징들이 식용여부와 어떤 관계가 있는지 알아보고 버섯의 식용여부를 예측하는 모델을 만들어보려고 한다.
• 전체 데이터 8124 개를 8:2 비율로 train-set과 test-set으로 나눴고 나눈 train-set으로 모델을 학습시켰다.

데이터 바로가기

데이터 구성 및 전처리

[데이터 구성]

• class: 독성 여부(edible=e, poisonous=p)

• cap-shape: 버섯 모자 모양(bell=b,conical=c,convex=x,flat=f, knobbed=k,sunken=s)

• cap-surface: 버섯 모자 표면(fibrous=f,grooves=g,scaly=y,smooth=s)

• cap-color: 버섯 모자 색상(brown=n,buff=b,cinnamon=c,gray=g,green=r,pink=p,purple=u,red=e,white=w,yellow=y)

• bruises: 버섯의 멍 여부(bruises=t,no=f)

• odor: 버섯 냄새(almond=a,anise=l,creosote=c,fishy=y,foul=f,musty=m,none=n,pungent=p,spicy=s)

• gill-attachment: 버섯 주름 연결 방식(attached=a,descending=d,free=f,notched=n)

• gill-spacing: 버섯의 주름 간격(close=c,crowded=w,distant=d)

• gill-size: 주름 폭(broad=b,narrow=n)

• gill-color: 주름 색상(black=k,brown=n,buff=b,chocolate=h,gray=g, green=r,orange=o,pink=p,purple=u,red=e,white=w,yellow=y)

• stalk-shape: 버섯의 줄기 모양(enlarging=e,tapering=t)

• stalk-root: 버섯의 뿌리 모양(bulbous=b,club=c,cup=u,equal=e,rhizomorphs=z,rooted=r,missing=?)

• stalk-surface-above-ring: 링 위의 표면 질감(fibrous=f,scaly=y,silky=k,smooth=s)

• stalk-surface-below-ring: 링 아래 표면 질감(fibrous=f,scaly=y,silky=k,smooth=s)

• stalk-color-above-ring: 링 위의 색상(brown=n,buff=b,cinnamon=c,gray=g,orange=o,pink=p,red=e,white=w,yellow=y)

• stalk-color-below-ring: 링 아래 색상(brown=n,buff=b,cinnamon=c,gray=g,orange=o,pink=p,red=e,white=w,yellow=y)

• veil-type: 베일(줄기 지지대)의 타입(partial=p,universal=u)

• veil-color: 베일의 색상(brown=n,orange=o,white=w,yellow=y)

• ring-number: 버섯의 링 개수(none=n,one=o,two=t)

• ring-type: 버섯의 링 종류(cobwebby=c,evanescent=e,flaring=f,large=l,none=n,pendant=p,sheathing=s,zone=z)

• spore-print-color: 버섯의 포자 프린트 색상(black=k,brown=n,buff=b,chocolate=h,green=r,orange=o,purple=u,white=w,yellow=y)

• population: 버섯의 분포 형태(abundant=a,clustered=c,numerous=n,scattered=s,several=v,solitary=y)

• habitat: 자라는 환경(grasses=g,leaves=l,meadows=m,paths=p,urban=u,waste=w,woods=d)

[전처리]

1. 결측치 확인

• 결측치 확인 결과 모든 컬럼에 결측치는 없었다.
  
  

2. 식용여부에 따른 각 특징별 분포 확인

• cap-shape는 대부분 'x'와 'f'의 형태를, odor은 'n'과 'f'를, gill-attachment는 'f'의 형태를 띠고 있다.

• veil-type은 'p' 한 가지로 이루어져있고, veil-color는 대부분 'w'를 띠고 있다.

• ring-number는 대부분 'o'로 이루어져 있다.
  
  

3. Encoding

방법 1)

• 모든 컬럼이 카테고리형 데이터로 이루어져 있어 one-hot encoding을 진행하려 했지만 그러면 컬럼 수가 너무 많아지기 때문에 label encoding을 진행하였다.

방법 2)

• 종류가 너무 많은 컬럼은 top3만 뽑아 나머지 종류는 'ETC'로 전처리를 해주고 label encoding을 진행하였다.
  (예를들어, habitat의 경우 종류가 7가지인데 이를 'd', 'g', 'p', 그리고 'ETC'로 전처리를 해주고 진행함. 그럼 총 4종류의 변수가 생성된다.)

방법 3)

• 카테고리형 변수 중 종류가 4개 미만인 변수들은 one-hot encoding을, 그 외의 변수들은 label encoding을 진행하였다.
• one-hot encoding = bruises, gill-attachment, gill-spacing, gill-size, stalk-shape, veil-type, ring-number
• label encoding = 나머지 컬럼

모델 생성 및 학습시키기

best_params 로 최적의 해를 구해보고 적절한 값으로 수정하여 모델을 학습시킨 결과 train-set의 경우

• 방법 1)
  RandomForest로 학습시킨 결과 베스트 스코어 1 이 나왔고, 평균 스코어는 0.9975384615384615 가 나왔다.
  모델에 영향을 미친 상위 10개 변수를 확인한 결과 아래 표와 같음을 확인할 수 있었다.

• 방법 2)
  RandomForest로 학습시킨 결과 베스트 스코어 1이 나왔고, 평균 스코어는 0.994923076923077 이 나왔다.
  모델에 영향을 미친 상위 10개의 변수를 확인한 결과 아래 표와 같음을 확인할 수 있었다.

• 방법 3)
  BoostingTree로 학습시킨 결과 베스트 스코어는 0.9998461538461537 이 나왔고, 평균 스코어는 0.9996923076923077 이 나왔다.
  feature_importance를 찍어보면 아래 표와 같이 순서대로 예측모델에 기여한 것을 확인할 수 있었다.

최종결과

• label encoding을 했을 때 예측 결과가 가장 잘 나온 것을 확인할 수 있었다.

Insight💡

• top3만 가져와서 돌렸을 때, 유의미한 변수들이 하나로 합쳐져서 판별 기준이 줄어들어 예측 점수가 낮게 나온 것 같다.

• one-hot encoding을 했을 때에는 컬럼 수가 너무 많아져 오히려 모델의 성능을 저하시킨 것으로 예상해보았다.

• cap-color가 식용여부에 영향을 가장 크게 미칠 것이라고 예상했었다.

• 히트맵을 그려본 결과 식용여부(class)는 bruises, gill-color, stalk-root, ring-type, spore-print-color 와 강한 상관성을 가진다는 것을 확인했다.

• 식용여부와 odor 사이에 상관성이 없었는데 예측 모델에 odor가 가장 높게 기여한 것을 확인할 수 있었다.
  상한 냄새가 나는 버섯은 독버섯일 확률이 매우 높기때문에 가까이 다가가지 않는 것이 좋을 것 같다.
  ☠️🚨하지만 실제로 독버섯을 냄새로 구분하기는 굉장히 위험한 방법이니 시도하지 않을 것을 권장한다. (어느정도 거리가 안전한지는 모름...)

• 만약 버섯을 구분해야 한다면 spore-print-color가 검정(k), 갈색(n)인 것과 stalk-root가 club-shape(c), rooted(r)인 것이 독성이 없을 확률이 높다는 것을 알아냈다.

<코드 모음>

방법1) 코드 바로가기
방법2) 코드 바로가기
방법3) 코드 바로가기