💻

💘💫두근두근 캐글 데이터 분석 튜토리얼💘💫

Created

2022/08/20

Editor

I. Intro

머신러닝

데이터나 인공지능에 관심이 있으신 분들이라면 한 번쯤은 들어보셨을 것입니다! 4차 혁명 시대인 요즘, 빅데이터와 인공지능이 많이 알려지면서 머신러닝에 대한 관심 또한 커지고 있습니다.

머신러닝은 학습된 데이터를 기반으로 미래 상황을 예측하거나 데이터들의 경향성을 나타내는 데에 주로 사용됩니다. 이 때, 분석 과정은 주로 데이터 시각화 및 EDA, 데이터 전처리, 모델링 순으로 진행되는데요! 이번 아티클에서는 각 단계를 입문자도 쉽게 이해할 수 있도록 풀어서 작성할 예정이니, 차근차근 잘 따라오시길 바랍니다

캐글의 심장마비 데이터를 활용해 자세히 설명해 드릴게요.

Heart Attack Analysis & Prediction Dataset

A dataset for heart attack classification

https://www.kaggle.com/datasets/rashikrahmanpritom/heart-attack-analysis-prediction-dataset

두근두근 캐글 데이터 분석 튜토리얼은 총 네 개의 챕터로 구성되어 있습니다.

네 단계를 차근차근 따라오다 보면 당신도 어느새 머신러닝 마스터

챕터 . 데이터 시각화

챕터 . 데이터 전처리

챕터 . 모델링 및 데이터 분석

챕터 . 결과 분석

II. 데이터 분석 튜토리얼

Chapter 1. 데이터 시각화

본격적인 데이터 전처리 및 모델링에 앞서, 우리가 다룰 데이터가 무엇인지 시각화해 살펴볼 필요가 있습니다. 시각화를 통해 데이터의 이상치를 발견할 수 있고, 데이터의 특성을 파악해 추후 예측 모델을 고르는 데 도움을 받을 수 있습니다.

주어진 feature 확인하기

먼저, pandas 라이브러리의 read_csv() 함수를 통해 우리가 사용할 csv 파일을 불러와야합니다. head() 함수를 통해 데이터의 대략적인 특성과 feature 개수를 파악해보겠습니다.

우리가 불러온 데이터는 심장마비 여부를 의미하는 output을 제외하고 총 13개의 feature를 가지고 있습니다. 데이터 모델링 과정에서는 각 feature들이 심장마비 발병에 얼마나 영향을 미칠지 알아볼 예정입니다. feature 별로 조금 더 자세한 정보를 파악해보기 위해 info() 함수를 사용해보겠습니다. info() 함수는 데이터 프레임을 구성하는 행과 열의 크기, 컬럼 명, 컬럼을 구성하는 값의 자료형 등을 결과로 반환합니다.

주어진 feature를 아래와 같이 연속형, 범주형으로 나눌 수 있었습니다.

feature 별 분포 및 관계 확인하기

본격적으로 데이터 시각화를 진행하기에 앞서서, 각 feature의 분포를 확인해보겠습니다. 먼저 개별 feature의 분포를 확인하겠습니다.

plt.figure(figsize=(15,15))
for i,col in enumerate(df.columns,1):
    plt.subplot(7,2,i)
    plt.title(f"Distribution of {col} Data")
    sns.histplot(df[col],kde=True)
    plt.tight_layout()
    plt.plot()
Python
복사

시각화 결과를 통해 각 feature의 분포는 물론, 연속형 데이터와 범주형 데이터를 다시 한 번 구별해 볼 수 있었습니다.

이번에는 두 feature 간의 관계를 알아보도록하겠습니다. 이때는 seaborn의 pairplot() 함수를 사용할 건데요, pairplot 함수는 각 그리드의 두 feature 간의 관계를 나타내는 그래프를 하나씩 그리며 같은 feature끼리 짝을 이루는 대각선 방향으로는 히스토그램을 시각화합니다. 서로 다른 변수 간에는 산점도를 통해 두 feature의 관계를 파악할 수 있습니다.

plt.figure(figsize=(15,10))
sns.pairplot(df,hue="output")
plt.title("Looking for Insites in Data")
plt.legend("HeartDisease")
plt.tight_layout()
plt.plot()
Python
복사

심장마비 데이터에 pairplot 함수를 적용해보면 위와 같은 결과를 얻을 수 있었습니다. 이때 hue를 output으로 설정해, 심장마비 여부 별로 히스토그램과 산점도 그래프의 색상을 다르게 하였습니다.

시각화 라이브러리 ‘Plotly’

데이터 시각화를 위해서 matplotlib, seaborn 등의 라이브러리를 사용할 수 있습니다. 이번 시각화 과정에서는 plotly를 사용해 주어진 데이터를 시각화해보겠습니다. plotly는 웹 시각화 라이브러리인 d3.js를 이용해 인터랙티브한 그래프를 만들 수 있습니다. 산점도 그래프, 선 그래프, 막대 그래프 등의 기본적인 시각화 뿐만 아니라, 인공지능 및 머신러닝 라이브러리와 결합해 다양한 시각화 기능을 제공하고 있습니다.

plotly의 더 자세한 내용은 아래 Plotly 공식 사이트에서 확인할 수 있습니다.

Plotly

Plotly's Python graphing library makes interactive, publication-quality graphs. Examples of how to make line plots, scatter plots, area charts, bar charts, error bars, box plots, histograms, heatmaps, subplots, multiple-axes, polar charts, and bubble charts. Plotly.py is free and open source and you can view the source, report issues or contribute on GitHub.

https://plotly.com/python/

연속형 데이터 시각화

연속형 데이터는 box plot, 즉 상자 그림을 이용해 시각화해보도록 하겠습니다.

box plot(상자 그림)이 무엇인가요?

box plot은 자료로부터 얻어낸 통계량인 5가지 요약 수치를 통해 시각화합니다. 5가지 요약수치란 최솟값, 제 1사분위값, 제 2사분위값, 제 3사분위값, 최댓값을 의미합니다. 최솟값과 최댓값을 벗어난 이상치는 점으로 시각화합니다. 상자 그림을 통해 데이터 분포를 확인하고 이상점을 처리하기 용이합니다.

위에서 살펴본 연속형 데이터 중 콜레스테롤을 의미하는 ‘chol’ feature와 최대 심박수를 의미하는 ‘thalachh’ feature를 이용해 시각화를 진행해보겠습니다. 각 box plot의 x축을 output으로 설정해 심장마비 여부에 대한 feature의 분포를 알아보도록 하겠습니다.

먼저 ‘chol’ feature의 분포를 살펴보겠습니다.

시각화 결과를 통해, 이상치를 제외하면 심장마비 환자군의 수치가 오히려 낮았음을 알 수 있습니다.

다음으로는 ‘thalachh’ feature의 분포를 살펴보겠습니다.

최대 심박수의 경우 최솟값, 중앙값, 최댓값 등이 모두 심장마비 환자군에서 높게 나타났습니다.

아티클에서는 가장 기본적인 box plot을 사용했지만, 라이브러리의 추가적인 기능을 활용하면 box plot에 산점도 그래프나 히스토그램을 추가해 시각화할 수 있습니다.

범주형 데이터 시각화

범주형 데이터는 기본적인 히스토그램을 이용해 시각화해보도록 하겠습니다.

범주형 데이터 중 chest pain type 의미하는 ‘cp’ feature와 지중해 빈혈 여부를 의미하는 ‘thall’ feature를 이용해 시각화를 진행해보겠습니다. 범주형 데이터 역시 x축을 output으로 설정했습니다.

‘cp’ feautre에 대한 시각화 결과는 다음과 같습니다.

시각화 결과를 통해, chest pain type 0보다는 chest pain type 1, 2, 3에 대해 심장마비 발생 비율이 높았음을 알 수 있습니다.

다음으로는 ‘slp’ feature를 시각화했습니다.

시각화 결과를 통해, slp feature가 2인 경우에서 심장병 발생 비율이 두드러지게 높게 나타났음을 알 수 있습니다.

범주형 데이터는 히스토그램 외에도, Heatmap 등을 통해 시각화 할 수 있습니다.

데이터의 값을 색상으로 변환시켜주는 Heatmap 시각화의 경우 색상 정보를 통해 항목별 수치를 가시적으로 나타낼 수 있다는 장점을 가지고 있지만, 비교적 균일한 분포의 데이터에 적용하기에는 부적절하다는 단점을 가지고 있습니다.

Chapter 2. 데이터 전처리

데이터 전처리는 머신러닝 알고리즘만큼 중요합니다. 머신러닝 알고리즘은 데이터에 기반하고 있기 때문에 어떤 데이터를 입력으로 가지느냐에 따라 결과가 크게 달라질 수 있습니다. 그렇기 때문에 머신러닝 알고리즘을 적용하기 전에 데이터에 대해 미리 처리해야할 사항들이 있습니다.

이상치 제거하기

이상치란 말 그대로 이상이 있는 데이터를 뜻합니다. 머신러닝에서는 이러한 이상치 데이터 때문에 모델의 성능이 크게 좌우됩니다.

이상치가 모델의 성능에 어떻게 영향을 끼치나요?

모델의 입장에서는 데이터의 패턴을 보고 흐름을 파악해 예측을 수행해야 하는데, 이상치 데이터가 존재할 시에는 이상치 데이터들 때문에 모델의 입장에서는 뜬금없는 패턴을 수행하게 되어 예측 정확도가 떨어질 수 있습니다.

그러면 이상치는 어떻게 발견하나요?

대표적인 방법으로 IQR방법이 있습니다.

IQR(Inter Quantile Range) IQR은 사분위 값의 편차를 이용합니다. 여기서 IQR은 아래의 그림에서 확인할 수 있듯이 3사분위수에서 1사분위수를 뺀 값입니다. 즉, IQR = Q3 - Q1입니다. IQR을 이용해서 이상치를 탐지할 때는 IQR값에 어떤 특정 값을 곱해서 구하는데, 보통 1.5를 곱하여 이상치를 탐지합니다. 즉, IQR에서 1.5를 곱하여 Q3에 더해주고, IQR에서 1.5를 곱해서 Q1에 빼줍니다. 이때, Q3에 더해준 값을 최댓값, Q1에 빼준 값을 최솟값이라고 합니다. 여기서, 최댓값보다 큰 값 그리고 최솟값보다 작은 값을 “이상치”라고 부릅니다.

심장마비 데이터의 피처들의 분포를 보시면 아래와 같이 Boxplot 외에 점들이 있는 것을 확인하실 수 있습니다. 이 점들은 ‘이상치’라고 하는데요! 위에서 배운 iqr방식을 이용하여 이상치를 제거해주면 됩니다.

결측치 제거하기

결측치, 즉 Null값은 머신러닝에서 허용되지 않습니다. 따라서 데이터에 Null값이 있을 경우 아예 제거를 하거나 피처의 평균값, 중간값 등 다른 값으로 변환해주는 작업이 필요합니다

만약에 Null값이 대부분이라면 어떡하나요?

데이터의 결측치를 확인했을 때 Null값이 대부분이라면 다른 값으로 대체하는 것보다 오히려 해당 피처는 드랍하는 것이 더 좋습니다!

심장마비 데이터와 같이 Null값이 없는 경우에는 이 과정을 건너뛰셔도 됩니다!

인코딩

사이킷런의 머신러닝 알고리즘은 문자열 값에 대해 적용할 수 없습니다. 따라서 피처들의 자료형을 확인했을 때 문장형, 즉 object형 피처가 있을 경우 이들을 숫자형으로 바꿔주는 작업이 필요합니다. 머신러닝의 대표적인 인코딩 방식에는 ‘레이블 인코딩’과 ‘원-핫 인코딩’이 있습니다.

레이블 인코딩? 원-핫 인코딩?

카테고리형 데이터를 코드형 숫자 값으로 변환해주는 작업을 레이블 인코딩이라고 하고, 데이터의 유형에 따라 새로운 데이터를 추가하여 고유 값에 해당하는 칼럼에만 1을 표시하고 나머지 칼럼에는 0으로 표시하는 방법을 원-핫 인코딩이라고 합니다.

즉, 레이블 인코딩을 적용할 경우 아래 그림처럼 문자형으로 되어있는 피처가 숫자형으로 변환이 됩니다. TV는 1, 냉장고는 2와 같이 각각의 항목에 고유 번호가 부여되었음을 확인할 수 있습니다.

원-핫 인코딩은 아래 그림처럼 열들의 고유 값을 차원을 변환한 뒤, 해당하는 칼럼에만 1을 표시, 나머지에는 0을 표시해줍니다. 이때, 판다스의 get_dummies 메서드를 사용하면 숫자형 값 변환없이 원-핫 인코딩을 쉽게 구현 할 수 있습니다.

이때 유의할 점은 레이블 인코딩을 통해 피처값들을 인코딩할 때 각 피처마다 순차적으로 숫자가 부여되기 때문에 피처들마다 부여된 숫자가 다르게 됩니다. 이럴 경우 특정 머신러닝 알고리즘에서 가중치가 더 부여되거나 더 중요하게 인식될 가능성이 발생할 가능성도 있기 때문에 레이블 인코딩은 선형회귀와 같은 머신러닝 알고리즘에 적용하지 않아야 합니다

위와 같은 이유로 심장마비 데이터에 대해서는 레이블 인코딩이 아닌 원-핫 인코딩을 적용하였는데요! 원-핫 인코딩을 적용하니 원본 데이터에 비해 피처들이 상당히 많아졌음을 확인할 수 있습니다.

위와 같이 피처들이 많을 경우 나중에 모델을 학습시킬 때, 과적합 문제가 발생할 수도 있습니다. 이를 방지하기 위해 피처들의 차원을 축소시키는, 즉 차원축소를 해주는 것이 좋습니다

피처 스케일링

서로 다른 변수의 값 범위를 일정한 수준으로 맞추는 작업을 ‘피처 스케일링’이라고 합니다. 대표적인 방법으로는 표준화와 정규화가 있습니다.

여기서 표준화와 정규화의 개념을 간단히 설명해드리자면

표준화란? 평균이 0이고 분산이 1인, 즉 “가우시안 정규 분포”를 가진 값으로 변환해주는 작업을 표준화라고 합니다.

표준화를 통해 변환될 피처 x의 새로운 i번째 데이터를

x_inew

라고 한다면 이 값은 원래 값에서 피처 x의 평균을 뺀 값을 피처 x의 표준편차로 나눈 값으로 계산할 수 있습니다.

$x_inew=\frac{x_i-mean(x)}{stdex(x)}$

머신러닝에서는 표준화를 쉽게 지원하기 위해 클래스를 제공하는데, 대표적으로 StandardScaler가 있습니다. StandardScaler는 개별 피처를 평균이 0이고, 분산이 1인 값으로 변환해줍니다. 즉 데이터들이 가우시안 정규 분포를 가질 수 있도록 변환해주는 중요한 역할을 수행합니다.

표준화를 해주는 것이 왜 중요한가요?

선형회귀나 로지스틱 회귀는 데이터가 가우시안 분포를 가지고 있다고 가정하고 구현됐기 때문에 사전에 표준화를 적용하는 것은 예측 성능 향상에 중요한 요소가 됩니다.

심장마비 데이터같은 경우에는 StandardScaler를 이용하여 표준화를 진행하였는데요. 아래 왼쪽 그림은 표준화를 하기 전, 오른쪽은 표준화를 진행하고나서의 분포를 시각화 한 것입니다.

x축을 보시면 표준화를 진행하기 전과 비교했을 때 진행한 후의 x축 범위가 0을 기준으로 뒤집어진 종모양이 된 것을 보아 표준화가 잘 수행이 되었음을 확인하실 수 있습니다.

정규화란? 서로 다른 크기의 데이터들이 있을 때, 이들의 크기를 통일하기 위해 크기를 변환해주는 작업을 정규화라고 합니다. 즉, 개별 데이터의 크기를 모두 똑같은 단위로 변경해주는 것입니다.

새로운 데이터

xinew

는 원래 값에서 피처 x의 최솟값을 뺀 값을 피처 x의 최댓값과 최솟값의 차이로 나눈 값으로 변환할 수 있습니다.

$x_inew=\frac{x_i-mean(x)}{stdex(x)}$

표준화뿐만 아니라 정규화를 쉽게 지원하기 위해 머신러닝에서는 클래스를 제공하는데, 대표적으로 MinMaxScaler가 있습니다.

MinMaxScaler는 데이터 값을 0과 1사이의 범위 값으로 변환해줍니다. 만약 데이터의 분포가 가우시안 분포가 아닐 경우에 MinMaxScaler를 적용해 볼 수 있습니다.

피처 스케일링을 할 때 유의해야 할 점이 있습니다. Scaler객체를 이용하여 학습 데이터 세트로 fit()과 transform()을 적용하면 테스트 데이터 세트로는 다시 fit()을 수행하지 않고 학습 데이터 세트로 fit()을 수행한 결과를 이용해 transform()변환을 적용해야 합니다.

즉, 학습 데이터로 fit()이 적용된 스케일링 기준 정보를 그대로 테스트 데이터 세트에 적용해야 한다는 것인데, 왜 그래야 할까요?

맨 처음에 말했듯이 머신러닝 모델은 학습 데이터를 기반으로 학습되기 때문에 반드시 테스트 데이터는 학습 데이터의 스케일링 기준에 따라야 합니다

만약에 테스트 데이터로 다시 새로운 스케일링 기준 정보를 만들게 되면 학습 데이터와 테스트 데이터의 스케일링 기준 정보가 서로 달라지기 때문에 올바를 예측 결과를 도출하지 못 할 수 있습니다

자 이로써 데이터 시각화, 데이터 전처리를 모두 마쳤습니다. 다음부터는 모델링에 대해서 살펴보겠습니다.

Chapter 3. 모델링

머신러닝 모델 학습 방법은 크게 지도 학습, 비지도 학습, 강화 학습으로 나눠집니다. 같은 데이터로 학습하더라도 어떤 모델을 사용하느냐에 따라 성능이 크게 달라질 수 있기 때문에 데이터 전처리 만큼이나 어떤 모델을 선택하고 어떻게 학습시킬 것인지가 매우 중요합니다!

데이터 분포에서 확인했듯이, 정답 레이블인 ‘심장마비 발병 여부’ 데이터를 알고 있으므로 ‘지도 학습’ 방법을 선택하여 학습을 진행하겠습니다.

지도학습이 뭔가요?

지도 학습이란 여러 문제와 답을 같이 학습함으로써 미지의 문제에 대한 올바른 답을 예측하고자 하는 방법입니다. 즉, 정답이 있는 사례들을 학습하여 모델을 생성하고, 그 모델을 이용해 정답이 없는 문제의 정답을 알아내고자 하는 학습방법입니다.

지도학습은 크게 회귀문제와 분류문제로 나눌 수 있습니다. 예측하고 싶은 정답 값이 연속형 숫자일 때 회귀를 주로 사용하고, 분류는 말 그대로 어느 정답에 속하는지 ‘분류’하고 싶을 때 사용합니다.

심장마비 데이터의 경우, 정답 값이 0과 1로 이뤄진 이중분류 문제이기 때문에, 분류 모델을 사용하기로 결정했습니다.

머신러닝 모델링의 시작은 사용할 모델을 선정하는 것으로부터 시작합니다.

이 때, 데이터의 분포와 활용 목적에 따라 모델 종류를 잘 선정해야만 높은 정확도와 유의미한 정보를 전달해주는 모델을 얻을 수 있습니다. 이렇게 생성한 모델을 바로 사용해도 되지만, ‘하이퍼 파라미터 튜닝’을 거치면 더욱 완성도 있는 모델을 만들 수 있습니다.

하이퍼 파라미터 튜닝이 뭔가요?

하이퍼 파라미터 튜닝은 쉽게 말하자면 모델을 꾸며주는 작업입니다. 각 모델의 독특한 변수값들을 조정해주면서 모델의 정확도와 과적합 문제를 개선해나가는 작업입니다. 위의 과정을 통해 완성한 모델에 train, test 데이터를 넣어 예측을 진행하면 모델링 작업이 마무리 됩니다!

심장마비 예측 모델링에는 총 3가지 모델이 사용됐습니다. DecisionTree, RandomForest, XGBoost는 각자만의 고유한 장점 때문에 실제 현업에서도 자주 사용되는 모델들입니다. 그럼 지금부터 각 모델들을 하나씩 살펴보며 모델링 과정을 이해해보겠습니다!

DecisionTree

첫 번 째 모델인 DecisionTree입니다. 한국말로는 ‘의사결정트리’ 모델이라고도 불립니다.

이름만 보고도 어떤 형태인지 감이 오실까요?

네, 맞습니다. 바로 Tree, 즉 나무 형태의 모델입니다.

DecisionTree 모델은 줄기에서 나뭇가지가 뻗어나가듯이 분류를 진행합니다. 이 때의 분류 기준은 정보의 ‘균일도’인데요. 쉽게 말해, 분류가 쉬운 기준 순서대로 분류를 진행한다는 것입니다.

정보균일도에 대해서 자세히 설명해주세요!

예시를 들어보겠습니다. 하얀공 5개, 검은공 5개가 들어있는 박스 A와 하얀공 9개 검은공 1개가 들어있는 박스 B가 있다고 가정해봅시다. 가령 눈을 가린채 박스 B에서 공을 뽑았을 때는, 데이터에 대한 정보가 많이 없어도 하얀색공이라고 쉽게 예측할 수 있습니다. 하지만 A의 경우에는 예측을 위해서 더 많은 데이터와 조건이 필요합니다. 이 때, 우리는 박스 A를 정보의 균일도가 낮다고 말하고 박스 B를 정보의 균일도가 높다고 말합니다.

DecisionTree의 장점은 알고리즘이 매우 쉽고 직관적이라는 것입니다. 분류 기준이 매우 명확하기에 시각화를 통해서 어떤 요소가 분류에 크게 영향을 주는지 파악할 수 있습니다. 다만, 분류 기준이 쉬운만큼 과적합 문제도 발생할 가능성이 큽니다. 그러므로 max_depth를 비롯한 다양한 하이퍼 파라미터를 조정하여 데이터에 대해 과도한 학습을 하지 못하도록 규제하는 것이 좋습니다.

심장마비 모델링에서는 max_depth(분류를 진행하는 최대 층을 제한해주는 파라미터)를 활용하여 과적합을 제어했습니다. 그 결과, 정확도는 약 75% 정도로 비교적 낮은 수치를 보였습니다.

앞으로 소개할 나머지 두 모델은 모두 ‘앙상블’ 모델에 속합니다. 앙상블 모델은 여러 모델들을 함께 사용하여 모델을 생성하는 기법으로, 개별 모델의 장점은 살리고 단점은 보완하는 방식을 채용하여 높은 정확도와 성능을 자랑합니다.

심장마비 예측 모델링에서는 Bagging 알고리즘을 사용한 RandomForest 모델과 Boosting 기법을 사용한 XGBoost 모델을 사용했습니다.

RandomForest

첫 번째 앙상블 모델인 RandomForest 모델입니다. RandomForest는 Bagging 알고리즘을 사용하는 대표적인 모델 중 하나입니다

Bagging이 무엇을 의미하는 건가요?

Bagging이란, 쉽게 말해 여러 번 샘플링하여 학습을 진행한다는 의미입니다. N개의 샘플을 N번 복원추출하여 뽑아낸 데이터를 여러 개의 개별 모델에 학습 시키고, 나온 개별 예측값들을 합쳐 최종 예측에 사용하는 방법입니다.

그렇다면, RandomForest는 어떤 종류의 개별 모델을 사용할까요??

이름에서 눈치채셨겠지만, 바로 위에서 설명드린 DecisionTree를 개별 모델로 사용합니다.

RandomForest는 빠른 속도, 높은 예측 성능으로 실전에서도 자주 사용되는 모델입니다. 하지만, 샘플을 랜덤으로 계속 추출하다보면 비슷한 데이터가 만들어질 확률이 높아집니다. 이는 과적합을 초래할 수 있으므로 샘플과 feature도 같이 샘플링하거나, 하이퍼 파라미터를 튜닝하여 이에 대비하곤 합니다.

과적합이 무엇인가요?

과적합이란, 모델이 학습 데이터를 지나치게 학습했을 때 발생합니다. 학습 데이터의 특징을 과도하게 반영하여 모델을 생성하면, 학습 데이터에만 특화된 모델이 생성되어 새로운 데이터가 들어왔을 때 모델 성능이 좋지 않게 나올 수 있습니다. 이를 방지하기 위해, 모델을 생성하는 과정에서 다양한 하이퍼 파라미터들을 조정하곤 합니다.

심장마비 예측에서는 과적합 제어를 위해 다양한 파라미터들을 튜닝했고, 그 결과 83%의 정확도를 보였습니다. DecisionTree에 비해 상당히 높은 정확도를 보이는 것을 확인할 수 있습니다.

XGBoost

마지막 모델인 XGBoost 모델입니다. Boosting 기법을 사용하는 모델로, 매우 우수한 성능과 속도 때문에 DACON, Kaggle과 같은 데이터 분석 대회들에서 주목받고 있는 모델입니다. 빠른 속도와 좋은 성능은 XGBoost가 사용하는 Boosting 기법에서 기인합니다.

Boosting이 뭔가요?

Boosting은 예측 결과값에 가중치를 부여하여 다시 학습하는 방법으로, 어떻게 가중치 값을 조정해주느냐에 따라 모델 속도와 성능이 달라집니다.

그러면 XGBoost는 어떻게 가중치 값을 조정하나요?

XGBoost만의 가중치 조정 방법을 이해하기 위해서는, 경사 하강법(Gradient Descent)을 먼저 알아야 합니다.

경사 하강법은 간단히 말해 기울기를 활용해 최소 오차에 도달하는 방법입니다. 기울기가 낮은 쪽으로 계속 이동시켜 최종적으로 극값(최솟값)에 도달할 때 멈추게 됩니다. XGBoost는 경사 하강법(Gradient Descent)를 활용하여 가중치를 구하고 계산에 활용합니다. 이 때, 계산 결과값이 더 이상 나아지지 않는다고 판단하면 계산을 멈추는, 조기 멈춤 기능까지 탑재하여 과적합 문제와 계산 속도 문제를 모두 고려하였습니다. 게다가 트리 기반 모델이기에 DecisionTree와 같이 학습 과정을 시각화 할 수도 있는 다재다능한 모델이라고 할 수 있겠습니다.

하이퍼 파라미터 튜닝 결과, 가장 높은 정확도인 89%를 보였습니다.

역시 믿고 쓰는 XGBoost입니다

Chapter 4. 결과 분석

드디어…두근두근 캐글 데이터 분석 튜토리얼의 마지막 단계인 ‘결과 분석 챕터’에 도달했습니다!! 여기까지 오시느라 정말 수고 많으셨습니다. 결과 분석 단계는 이번 튜토리얼의 꽃이라고도 할 수 있는데요. 이 단계는 사실 알려드릴게 없습니다!

워워 진정하세요..! 알려드리기 싫은 건 아니고…진짜 알려드릴 게 없습니다! 결과 분석 단계에서는 분석 목적에 따라 그 방법이 천차만별입니다. EDA 결과를 보고 인사이트를 얻을 수도 있고, 모델 분석 결과를 보고 분석을 진행할 수도 있습니다! 그렇기에 각자의 필요에 맞게 맘대로 데이터 분석을 진행하되..논리적인 근거와 정확한 데이터 분석을 기반으로 해야 된다는 것을 잊으시지만 않으면 됩니다!

예시를 보여드리겠습니다.

위의 그림은 XGBoost 모델에서 제공하는 시각화 기능인 feature_importance인데요, 각 피처들이 분류 결과에 얼마나 영향을 미쳤는지 시각화하여 알려주는 기능입니다. 분류 결과에 가장 큰 영향을 미친 피처인 ‘chol’는 콜레스테롤 수치를 의미합니다. 심장마비 발병률과 콜레스테롤 수치가 연관 있다는 사실은 보편적으로 알려져 있는 사실입니다. 또한 두 번째 피처인 ‘oldpeak’는 의학 용어라서 여기서 자세히 설명드리진 않겠습니다만, 위의 결과를 통해 짐작해봤을 때 심장마비 발병 위험도를 측정할 때 환자의 ‘oldpeak’을 중요하게 보는 것이 좋다라는 결과를 도출해낼 수도 있겠네요!

III. Outro

튜토리얼을 마치며…

튜토리얼을 끝내신 소감이 어떠신가요?! 머신러닝 마스터…그렇게 어려워 보이지 않지 않나요??

두근두근 데이터 분석 튜토리얼은 머신러닝 입문자 분들도 쉽게 이해할 수 있도록 코드를 최소화하고, 데이터 분석 과정 전반을 살펴보실 수 있도록 작성하였습니다. 그렇기에 이 아티클을 완벽히 소화하셨다면, 캐글 데이터 분석의 전반적인 흐름을 완벽히 파악하신 것이라고 할 수 있겠네요!

긴 글 읽어주셔서 감사합니다! 이상 스물 넷, 스물 둘 팀의 ‘두근두근 캐글 데이터 분석 튜토리얼’을 마치겠습니다! 머신러닝 마스터가 되는 그날까지…모두 화이팅!!!!

💘💫두근두근 캐글 데이터 분석 튜토리얼💘💫

I. Intro

II. 데이터 분석 튜토리얼

Chapter 1. 데이터 시각화

주어진 feature 확인하기

feature 별 분포 및 관계 확인하기

시각화 라이브러리 ‘Plotly’

연속형 데이터 시각화

범주형 데이터 시각화

Chapter 2. 데이터 전처리

이상치 제거하기

결측치 제거하기

인코딩

피처 스케일링

xinew=xi−mean(x)stdex(x) x_inew=\frac{x_i-mean(x)}{stdex(x)}xi​new=stdex(x)xi​−mean(x)​

xinew=xi−mean(x)stdex(x) x_inew=\frac{x_i-mean(x)}{stdex(x)}xi​new=stdex(x)xi​−mean(x)​

Chapter 3. 모델링

DecisionTree

RandomForest

XGBoost

Chapter 4. 결과 분석

III. Outro

튜토리얼을 마치며…

$x_inew=\frac{x_i-mean(x)}{stdex(x)}$

$x_inew=\frac{x_i-mean(x)}{stdex(x)}$