👽 Python으로 UFO 목격을 분석해보자!

1. 주제 선정

팀원 중에 한 명이 미국 내의 UFO 출현에 관심을 갖고 있어 이를 기반으로 데이터 분석을 해보는 게 어떻겠냐고 하여 황색 언론에 대한 분석에서 변경하게 되었다.

그리하여 최종적으로 UFO 미국 관광 투어를 위한 UFO 출몰 지역 및 패턴 데이터 분석 을 주제로 선정하게 되었다.

2. Data 수집

데이터는 National UFO Reporting Center에서 찾을 수 있었고
표 형태의 적혀진 데이터를 자동으로 크롤링 해주는 Instant Data Scraper를 이용하여 데이터를 수집하였다.

National UFO Reporting Center

이 곳에는 1400년대부터 현재까지 목격되었다는 UFO 출몰 정보가 들어있었는데
우리 팀은 모바일 기기의 도입이 대중적으로 시작된 2000년 ~ 2022년 데이터들을
<nuforc의 Data bank의 UFO Report Index by Month>에서 수집하였다.

해당 섹션의 데이터 일부

3. Data EDA

하지만 전처리는 피해갈 수 없는 일이였을까…

일단 필요한 라이브러리들을 불러온다.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

(1) Column명 전처리

데이터를 불러오자 column명들이 미쳐 날뛰기 시작했다.

total = pd.read_csv('/Users/sung/Desktop/Python/total_ufo.csv')

total.head()

따라서 컬럼명을 확인하고 변경해주는 작업을 진행하였다.

total.columns
>>>
Index(['Unnamed: 0.1', 'Unnamed: 0', 'tablescraper-selected-row',
       'tablescraper-selected-row href', 'tablescraper-selected-row 2',
       'tablescraper-selected-row 3', 'tablescraper-selected-row 4',
       'tablescraper-selected-row 5', 'tablescraper-selected-row 6',
       'tablescraper-selected-row 7', 'tablescraper-selected-row 8',
       'tablescraper-selected-row 9'],
      dtype='object')

total.columns = ['drop', 'drop', 'date_time','url','city','statecode','country','shape','duration','summary','posted','image']

total.head()

위에 처럼 컬럼명이 깔끔해진 것을 볼 수 있다!

하지만 중간중간 drop이라는 것이 있는데 일단 index가 중복으로 들어가있는 column들은

삭제할 것이였기에 drop으로 표기하였다.

여기서 추가로 데이터 분석에 적합하지 않은 column들을 같이 삭제해주기로 하였다.

total = total.drop(['drop','drop','url','posted','image'], axis = 1, inplace = False)

total.head()

column들이 깔끔해진 것을 볼 수 있다!

column 설명

- date_time: UFO가 목격된 시간
- city: UFO가 목격된 도시
- statecode: 미국 주를 나타내는 코드
- country: 목격된 국가
- shape: 목격된 UFO의 모양
- duration: UFO가 목격되어 사라지기 전까지의 시간
- summary: UFO 목격자들의 진술 요약

(2) Null값 처리

일단 column들을 정리한 후 Null 값이 있는지 찾아보았다.

total.isnull().sum()
>>>
date_time       0
city            3
statecode      16
country         0
shape         113
duration      263
summary      3312
dtype: int64

생각보다 Null 값이 많았다!

그리하여 Null 값을 떨구거나 0으로 처리해야했는데

우리 데이터 특성상 문자열이 많았기 때문에 string으로 되어있는 열 값은 임의로 ‘null’이라고

정수 값인 열 값은 ‘0’으로 fillna 함수를 이용하여 전처리 해주었다.

total['city'] = total['city'].fillna('null')
total['statecode'] = total['statecode'].fillna('null')
total['shape'] = total['shape'].fillna('null')
total['duration'] = total['duration'].fillna(0)
total['summary'] = total['summary'].fillna('null')

# null값이 처리되었는지 확인
total.isnull().sum()
>>>
date_time    0
city         0
statecode    0
country      0
shape        0
duration     0
summary      0
dtype: int64

# null 텍스트가 잘 들어갔는지도 확인
total[total['city'] == 'null']

이로써 Null 전처리가 잘 된 것을 확인할 수 있었다.

(3) 세세하게 관찰하기 위한 date_time으로 변경 및 분할

이제 시간을 세세하게 나누어 관찰하기 위하여 date_time column을 연도 월 시간으로 나누기로 하였다.

하지만 막상 date_time열의 type을 확인해보니 datetime 형식이 아닌 텍스트의 형식이었다!

pd.to_datetime 함수를 이용하여 data type을 바꿔주고 각각 년 월 시간을 추출하여 열에 추가하였다.

total['date_time'] = pd.to_datetime(total['date_time'], errors = 'coerce')

# 변경 후 잘 변경되었는지 확인
total['date_time']
>>>
0        2000-01-31 22:21:00
1        2000-01-31 21:00:00
2        2000-01-30 23:15:00
3        2000-01-30 10:30:00
4        2000-01-29 13:00:00
                 ...        
119622   2022-06-01 03:36:00
119623   2022-06-01 03:00:00
119624   2022-06-01 01:19:00
119625   2022-06-01 00:01:00
119626   2022-06-01 00:00:00
Name: **date_time**, Length: 119627, dtype: datetime64[ns]

total['year'] = total['date_time'].dt.year
total['month'] = total['date_time'].dt.month
total['hour'] = total['date_time'].dt.hour

아름답게 변경되어 추가 된 것 같았으나…?!

연 월 시간의 float 형식이 나를 신경쓰이게 만들었다.

int로 바꾸려고했으나 바뀌지 않아 오류메세지를 구글링 해보니

Null값이 있으면 뜨는 메세지라고 나와 Null값을 다시 찾아보니 있었다!!!

total['year'].isnull().sum()
>>>
2

2개가 있다고 나와서 Null 값을 0으로 채우고 다시 시도했는데도 먹히지 않았다!!!!

total['year'].fillna(0)
>>>
0         2000.0
1         2000.0
2         2000.0
3         2000.0
4         2000.0
           ...  
119622    2022.0
119623    2022.0
119624    2022.0
119625    2022.0
119626    2022.0
Name: year, Length: 119627, dtype: float64

total[total['year'].isnull()]

그렇게 미스터리만 남겨놓은 채 나는 2개의 열을 떨구기로 결정하였고 결국 성공하였다!

total['year'].dropna()
>>>
0         2000.0
1         2000.0
2         2000.0
3         2000.0
4         2000.0
           ...  
119622    2022.0
119623    2022.0
119624    2022.0
119625    2022.0
119626    2022.0
Name: year, Length: 119625, dtype: float64 **# 그래서 총 row의 개수는 119625개!**

# inplace = True를 통해 영구적으로 바꿔주었다.
****total.dropna(inplace = True)

# int로 형변환 다시 시도!!
total['year'] = total['year'].astype('int')

# 성공!!!
total['year']
>>>
0         2000
1         2000
2         2000
3         2000
4         2000
          ... 
119622    2022
119623    2022
119624    2022
119625    2022
119626    2022
Name: year, Length: 119625, dtype: int64

# 위와 같은 방법으로 month, hour column도 전처리를 진행해주었다.
total['month'] = total['month'].astype('int')
total['hour'] = total['hour'].astype('int')

total.head()

추가로 pandas에서 지원하는 dt.day_name 함수를 통해 각 일자별 날짜를 추가하였다.

usa['day_name'] = usa['date_time'].dt.day_name()
usa['day_name']
day_name = usa.groupby('day_name').count()

(4) 공포의 duration

그 다음 문제는 바로 분석에 중요한 부분을 차지하게 될 duration 이었다.

누가 봐도 duration이 들쭉날쭉한 것이 보이기 때문에

과정을 적어보자면 대충 이렇다.

1. str.contatins 함수를 이용하여 문자 ‘sec’, ‘min’, ‘hour’ 이 포함되는 행 추출

2. str.contatins 함수를 이용하여 추출한 행을 pd.concat함수를 이용하여
   데이터 프레임 파일로 합침

3. str.replace 함수를 변환하고 싶은 단어를 변환

4. 엑셀의 '모두바꾸기' 기능 통해 분석에 필요 없는 문자열 1차 제거
   (예: each, approx, about 등 35개)

5. 그 중 처리불가인 16개 문자열 및 특수기호는 수량이 크지 않아 drop 시킴
   (~, ?, +/ 등)

6. 단계별로 저장 및 읽기 중, 밀린 셀 다시 정리

   위 과정 후 초 단위로 나타내기 위해 60을 일괄적으로 곱하였다.

(5) 전처리 후 결과

고난의 전처리를 끝낸 후 최종 결과물은 이러하다.

usa.info()
>>>
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 85506 entries, 0 to 85505
Data columns (total 12 columns):
 #   Column        Non-Null Count  Dtype         
---  ------        --------------  -----         
 0   date_time     85506 non-null  datetime64[ns]
 1   city          85506 non-null  object        
 2   statecode     85506 non-null  object        
 3   country       85506 non-null  object        
 4   shape         85506 non-null  object        
 5   summary       85506 non-null  object        
 6   year          85506 non-null  int64         
 7   month         85506 non-null  int64         
 8   hour          85506 non-null  int64         
 9   duration_sec  85506 non-null  int64         
 10  day           85506 non-null  int64         
 11  day_name      85506 non-null  object        
dtypes: datetime64[ns](1), int64(5), object(6)
memory usage: 7.8+ MB

그럼 이제 본격적으로 분석을 시작해보자

4. Data Analysis & Visualization

(1) 연도별 UFO Sighting Counting

usa['year'].value_counts()
>>>
2014    7072
2012    6230
2013    6201
2015    5551
2016    5001
2020    4998
2019    4479
2011    4224
2017    4069
2008    3803
2009    3466
2010    3400
2007    3319
2004    3087
2005    3074
2003    2761
2006    2748
2018    2583
2002    2263
2001    2247
2000    2123
2021    1998
2022     809
Name: year, dtype: int64

# 연도별 UFO Sighting Counting with using Countplot
plt.figure(figsize = (16, 10))
sns.countplot(data = usa, x = 'year', palette = 'pastel')

**Insight**    

- 2014년에 가장 많이 보였고 2021년에 가장 적게 보였다

- 2022년(올해)은 아직 다 지나지 않았음으로 개수가 가장 적을 수 밖에 없다!

(2) 월별 UFO Sighting Counting

usa['month'].value_counts()
>>>
7     9877
8     8569
10    8512
9     8162
11    7403
6     6979
12    6394
5     6193
1     6175
4     6143
3     5883
2     5216
Name: month, dtype: int64

# 월별 UFO Sighting Counting with using Countplot
plt.figure(figsize = (16, 10))
sns.countplot(data = usa, x = 'month', palette = 'Set1')

**Insight**    

- 7월에 가장 많이 발견되었고 2월에 가장 적게 발견되었다.

- Why? → 여름에 밖에 자주 나가고 겨울에는 집에만 있기 때문이다.

(3) 각 column별 상관관계 분석

데이터 출처 : 기상청 자료개방포털

기상자료개방포털[데이터:기상관측:세계기상전문(GTS):지상(SYNOP):자료]

미국 UFO 발견 건 수 TOP5 주 기상 데이터

2000년부터 2022년 6월까지

일별 기상 데이터(기온, 강수량, 풍속, 습도, 기압)를 월별 평균으로 데이터 정제

상관계수는 -1 ~ 1까지의 범위를 가지며 0.3 부터 상관관계가 있다고 판단한다.

또한 그 중에서 동부와 서부의 대표적인 주를 하나씩 꼽아 분석해보았다.

# 동부: **뉴욕 주**
sns.heatmap(corr_NE, 
            cmap = 'RdYlBu_r', 
            annot = True,   # 실제 값을 표시한다  
            linewidths=.5,  # 경계면 실선으로 구분하기
            cbar_kws={"shrink": .5},# 컬러바 크기 절반으로 줄이기
            vmin = -1,vmax = 1   # 컬러바 범위 -1 ~ 1
           )

**Insight**    

- 뉴욕의 월별 평균 기온(temperature)과 월별 UFO를 발견한 건수(count)의 상관계수가 
  0.37로 약한 양의 상관관계를 가지고 있다.

# 서부: **켈리포니아 주**
sns.heatmap(corr_CA, 
            cmap = 'RdYlBu_r', 
            annot = True,   # 실제 값을 표시한다  
            linewidths=.5,  # 경계면 실선으로 구분하기
            cbar_kws={"shrink": .5},# 컬러바 크기 절반으로 줄이기
            vmin = -1,vmax = 1   # 컬러바 범위 -1 ~ 1
           )

**Insight**    

- 캘리포니아 주의 월별 평균 기온(temperature)과 월별 UFO를 발견한 건수(count)의 
  상관계수가 0.39로 약한 양의 상관관계를 가지고 있다.

- 월별 풍속과 월별 UFO를 발견한 건수의 상관계수가 -0.38로 약한 음의 상관관계를 가지고 있다.

(4) 일별 UFO Sighting Counting

usa['day'].value_counts()
>>>
4     3834
15    3797
1     3781
20    2873
5     2839
7     2818
10    2805
12    2795
19    2774
24    2768
14    2745
3     2745
18    2722
25    2722
8     2718
22    2716
16    2687
11    2684
13    2682
17    2677
6     2651
23    2643
28    2633
21    2555
27    2524
2     2522
9     2495
26    2479
30    2467
29    2411
31    1944
Name: day, dtype: int64

# 일별 UFO Sighting Counting with using Countplot
plt.figure(figsize = (16, 10))
sns.countplot(data = usa, x = 'day', palette = 'muted')

**Insight**    

- 4일, 15일, 1일 순으로 많이 볼 수 있다.

(5) 요일별 UFO Sighting Counting

usa['day_name'].value_counts()
>>>
Saturday     15945
Friday       12459
Sunday       12327
Thursday     11831
Wednesday    11536
Tuesday      10909
Monday       10499
Name: day_name, dtype: int64

# 요일별 UFO Sighting Counting wiht using Countplot
plt.figure(figsize = (16, 10))
sns.countplot(data = usa, x = 'day_name', palette = 'Paired')

**Insight**    

- 토요일이 가장 많고 월요일이 가장 적다

(6) 시간대별 UFO Sighting Counting

usa['hour'].value_counts()
21    12970
22    11538
20     9877
23     7817
19     6722
18     4524
0      4511
1      2992
17     2747
5      2096
2      2085
3      1995
4      1693
16     1671
6      1661
15     1360
12     1270
10     1263
14     1244
11     1231
13     1158
9      1097
7      1055
8       929
Name: hour, dtype: int64

usa[(usa['hour'] > 6) & (usa['hour'] < 21)]

**Insight**    

- 총 85,506 건 중 36,148건을 뺀 49,358 건, 약 57%가 21시에서 5시까지 발견되었다.

# 시간대별 UFO Sighting Counting with using Countplot
plt.figure(figsize = (16, 10))
sns.countplot(data = usa, x = 'hour')

**Insight**    

- 주로 21시 이후부터 23시까지 많이 분포되어있음을 볼 수 있다.

(7) State 별 Top 5 Counting

usa['statecode'].value_counts().head()
>>>
CA    10745
FL     5581
WA     4499
TX     3716
NY     3672
Name: statecode, dtype: int64

# State 별 Counting with using Countplot
plt.figure(figsize = (16, 10))
sns.countplot(data = usa, x = 'statecode', palette = 'colorblind', order = usa['statecode'].value_counts().index)

**Insight**    

- 캘리포니아, 플로리다, 워싱턴, 텍사스, 뉴욕 주 순으로 많이 보인 것을 알 수 있다.

(8) Shape별 Top 5 Counting

usa['shape'].value_counts().head()
>>>
Light       19163
Circle       9658
Triangle     8089
Fireball     6846
Sphere       6046
Name: shape, dtype: int64

# shape별 UFO sighting Counting wiht using Countplot
plt.figure(figsize = (18, 12))
sns.countplot(data = usa, x = 'shape', palette = 'muted', order = usa['shape'].value_counts().index)

**Insight**    

- 빛 모양, 원 모양, 삼각형 모양, 불꽃모양, 창 모양 순으로 많이 발견되었음을 볼 수 있다.

(9) Analysis with Duration

전체 데이터를 가지고 만들어보니 shape와 duration_sec의 값들이 너무 다양하여

밑과 같이 boxplot이나 violinplot으로 분포를 그리기 힘들었다.

고로, duration_sec의 범위를 조정해줄 필요가 있다고 판단했다.

그리하여 임의로 120초 미만으로 제한해봤다.

under_2min = usa[usa['duration_sec'] < 120]

성공적으로 재정의 후 다시 boxplot을 그려보았는데 여전히 분포를 크게 보기 힘들었다.

하지만 이로써 60초 미만의 값들이 많은 것을 알 수 있었다.

좀 더 분포도를 보기 쉬운 violinplot으로도 그려보았다.

plt.figure(figsize = (18, 12))
sns.violinplot(data = under_2min, x = 'shape', y = 'duration_sec')

**Insight**    

- 30초 미만의 수가 압도적으로 많지만 60초도 은근히 많은 것을 볼 수 있다.

- Why? → UFO 의심물체는 순식간에 지나가기 때문에 대략적인 시간을 1분으로 많이 나타낸 것으로 보인다.



이를 토대로 duration_sec를 70초 미만으로 제한하고 다시 Violinplot을 그려보았다.

under_70sec = usa[usa['duration_sec'] < 70]
plt.figure(figsize = (18, 18))
sns.violinplot(data = under_70sec, x = 'shape', y = 'duration_sec')

→ 좀 더 보기 쉽게 violinplot이 그려진 것을 볼 수 있다.

그렇다면 이제 70초 미만에서 각 초마다 사람들이 본 횟수는 얼마나 될까?

plt.figure(figsize = (18, 12))
sns.countplot(data = under_70sec, y = 'duration_sec', palette = 'Set2', 
              order = under_70sec['duration_sec'].value_counts().index)

**Insight**    

- 이것으로도 사람들이 10 15 20 30 60초 등 정형화된 시간 개념에 따라 대답한 경우가 많은 것을 볼 수 있다.

- 당연하겠지만? ufo를 보았을 때 구체적으로 시간을 잰 사람이 거의 없다는 것으로 생각했다.

각 초마다 해당하는 비중이 어떻게 되는지 보기 위한 violinplot을 그려보았다.

plt.figure(figsize = (8, 4))
sns.violinplot(data = under_70sec, x = 'duration_sec')

**Insight**    

- 약 5초정도가 가장 많고 60초 정도에도 많은 것을 볼 수 있다.

(10) Wordcloud

# 빛 모양에 대한 summary를 UFO 모양으로 wordclouding
lig_sum = usa[usa['shape'] == 'Light']['summary']
summ = lig_sum
mask = Image.open('/Users/sung/Downloads/ufo3.jpeg')
mask = np.array(mask)

wc = WordCloud(
        background_color = 'white',
        stopwords = stopwords,
        mask = mask)
wc.generate(str(summ))
plt.figure(figsize = (8, 8))
plt.imshow(wc)
plt.axis('off')

5. 결론

• 연도: 2000년~2022년 중 2014년에 가장 많이, 2022 & 2021년에 가장 적게 목격되었다.
• 월: 1월~12월 중 7월에 가장 많이, 2월에 가장 적게 목격되었다.
• 일: 4일, 15일, 1일 순으로 많이 보았다.
• 요일: 일주일 중 토요일에 가장 많이, 월요일에 가장 적게 목격되었다.
• 시간: 24시간 중 21시에 가장 많이, 8시에 가장 적게 목격되었다.
• 지역: 미국 52개 주 중 캘리포니아에서 가장 많이, 워싱턴 DC에서 가장 적게 목격되었다.
• 모양: UFO 모양은 빛(ligth) 모양이 가장 많이, 십자형태(cross)&콘(cone) 모양이 가장 적게 목격되었다.
• duration: 전체 1초~54600초(약 15시간) 중 5초 듀레이션 구간이 가장 많았고,
  53초 구간이 가장 적게 나타났다.
• 지역+모양: 미국 주와 UFO 모양은 상관관계가 없는 걸로 분석되었다.
• shape + duration:
  공모양(sphere), 다이아몬드(Diamond), 십자모양(cross) 등이 가장 많은 60초 듀레이션 구간을 차지했고, 플래쉬(flash), V자형(chevron), 달걀형(egg)이 가장 적은 듀레이션 구간을 보여줬다.

6. 미국 서부 UFO 투어 코스를 구글어스로 제작