의사결정나무의 의미와 개념에 대해 알아봅시다.
의사결정나무의 의미와 개념을 이해합니다.
의사결정나무(Decision Tree)는 일련의 분류 규칙을 통해 데이터를 분류하고 분류하는 것을 말합니다. 회귀 이는 두 가지가 모두 가능한 지도 학습 모델 중 하나입니다. 의사결정나무는 기계 학습 컴퓨터나 인공지능이 학습을 통해 데이터에 존재하는 규칙을 자동으로 찾아내고, 전체적인 형태가 트리와 유사한 트리 기반의 분류 규칙을 만들어 내는 개념이다. 이는 20개의 질문을 하는 것과 비슷합니다. 의사결정 트리는 예, 아니오, 참 또는 거짓으로 답할 수 있는 질문을 통해 학습합니다. 이는 의사결정 과정을 시각적이고 명시적인 방식으로 보여줍니다. 의사결정나무는 if와 else를 기반으로 표현될 수 있습니다. 의사결정나무에서는 질문과 정답을 노드라고 합니다. 노드는 루트 노드와 리프 노드로 구분됩니다. 의사결정 트리에서는 분기가 있을 때마다 변수 영역이 두 개로 나누어져 이진 트리 형태를 취합니다.
의사결정트리 의미 및 개념 설명
Decision Tree는 Machine Learning 분야에서 조건을 트리 구조로 표현하여 분류나 회귀를 구현하는 방법을 말합니다. 의사결정나무는 나무이다. ) 구조의 가지에 조건을 설정하고, 조건의 만족 여부를 판단하여 문제를 해결하는 지도학습 방법이다. 결정 트리(Decision Tree)는 지도 학습에서 분류 또는 회귀를 수행하는 방법입니다. . 분류를 사용하는 경우 분류 트리, 숫자를 추측하는 경우 회귀 트리라고 합니다.[결정 트리의 종류]
분류 트리는 유한한 수의 값을 가지거나 범주형 결과를 반환합니다. 회귀 트리는 연속 값 또는 일반적으로 실수를 반환합니다. Decision Tree는 알고리즘을 사용하며, Decision Tree에 사용되는 알고리즘으로는 CART, ID3, C4.5가 있습니다. CART(Classification And Regression Tree)는 1984년에 발표된 기술로 머신러닝의 필수 기술이다. Python의 Scikit-Learn도 CART를 기반으로 구현됩니다. CART 알고리즘에서는 지니 지수(Gini Index)를 사용하여 불순물을 계산합니다. ID3(Iterative Dichotomiser3)는 엔트로피를 이용하여 불순물을 정보 이득으로 계산하는 방법입니다. ID3 알고리즘은 모든 독립변수가 범주형인 경우에만 가능합니다. 의사결정 트리에서는 불순물, 정보 획득, 엔트로피라는 세 가지 개념이 중요합니다.[결정트리의 3가지 중요한 개념]
불순물은 의사결정 트리를 분기하는 기준입니다. 현재 불순물에 비해 자식 노드의 불순물이 줄어들도록 설정해야 합니다. 불순물은 정보 획득을 평가할 때 사용하는 지표로, 불순물에는 엔트로피 불순물, 지니 불순물, 오분류율 등이 포함됩니다. 더 많은 케이스가 하나의 클래스로 분류될수록 불순물이 감소합니다. 정보 이득은 부모 노드에서 자식 노드로 그룹을 나눌 때 얻을 수 있는 정보의 양을 의미합니다. 의사결정 트리에서는 해당 값을 최대화하기 위해 학습이 수행됩니다. 정보 이득은 분기 전 불순물과 분기 후 불순물 간의 차이입니다. 엔트로피는 주어진 집합의 혼잡 정도를 나타냅니다. 엔트로피는 평균적인 정보량이라고 합니다. 주사위처럼 어느 쪽 눈이 나올지 알 수 없을 때 불확실성을 나타내는 양은 극대화된다. 정보 획득을 최대화하면 불순물이 감소하고 궁극적으로 엔트로피가 감소합니다.[정보이득과 불순도, 엔트로피와의 관계]
정보 획득 극대화 → 불순물 감소 → 엔트로피 감소 의사결정나무는 결측값까지 처리할 수 있는 방법으로, 의사결정이나 예측의 근거를 시각적으로 표현할 수 있는 장점이 있습니다. 노드는 의사결정트리에서 질문과 정답을 담고 있는 상자를 의미합니다. 노드에는 루트 노드와 리프 노드가 포함됩니다.[노드의 종류]
루트 노드는 의사결정 트리의 첫 번째 질문과 정답을 나타냅니다. 루트 노드는 맨 위에 있는 노드입니다. 리프 노드는 의사결정 트리의 마지막 질문과 정답을 나타냅니다. 리프 노드는 최종 결정을 나타냅니다. 의사결정트리에서는 입력 데이터의 분할된 각 영역이 하나의 목표값을 가질 때까지 반복됩니다. 순수 노드는 하나의 대상으로 구성된 리프 노드를 의미합니다. 의사결정 트리가 순수 노드로만 구성된 경우 훈련 세트의 정확도는 100%입니다. 모든 리프 노드가 순수 노드이면 학습 모델이 매우 복잡해지고 훈련 데이터에 과적합됩니다. 과적합을 방지하기 위해 사전 가지치기(pre-pruning) 또는 사후 가지치기(post-pruning) 방법이 사용됩니다. 의사결정트리는 머신러닝 알고리즘 중 가장 직관적이고 이해하기 쉬운 분류 모델 알고리즘으로 평가된다. 빅데이터에 존재하는 규칙은 학습을 통해 자동으로 발견되고, 분류 규칙은 브랜치 형태로 생성됩니다. 기준은 의사결정 트리에서 매우 중요하며 알고리즘의 성능을 결정할 수 있습니다. 의사결정나무는 데이터 기준에 따라 규칙을 생성합니다. 규칙이 너무 많으면 분류 방법이 매우 복잡해져서 과적합이 발생할 수 있습니다. 또한 훈련 데이터가 너무 완벽하게 분류되면 과적합이 발생하여 예측 성능이 저하될 수 있습니다. 이것은 떨어질 수 있습니다. 의사결정 트리가 너무 깊다면 좋은 생각이 아닙니다. 데이터 세트를 가능한 한 균일하게 분할하는 것이 좋습니다. 의사결정 트리에서 과적합이 발생할 가능성이 높으며 이로 인해 알고리즘 성능이 저하됩니다. 의사결정 트리를 사용하면 의사결정 프로세스와 모델을 더 효과적으로 시각화할 수 있습니다. 이렇게 하면 알고리즘을 더 쉽게 이해할 수 있습니다. 의사결정나무는 머신러닝의 가장 기본적인 모델로, 앙상블 기법을 통해 랜덤 포레스트(Random Forest)로 발전할 수 있습니다.