편견의 의미와 개념에 대해 알아보겠습니다.
편견의 의미와 개념 이해
바이어스는 다음을 의미합니다. 머신러닝 분야에서예측값과 실제값에 대한 데이터에서 두 값이 얼마나 떨어져 있는지의 차이를 의미합니다. 바이어스는 예측값이 실제값으로부터 얼마나 떨어져 있는지를 나타냅니다. 예측값이 실제값으로부터 대체로 멀리 떨어져 있으면 바이어스가 높다고 하며, 반대로 예측값이 실제값에 가까우면 바이어스가 낮다고 표현합니다.인공지능(AI) 모델모델의 편향이 크면 과소적합이 발생하고, 모델이 너무 단순해서 데이터의 관계를 잘 학습하지 못하기 때문에 예측 성능이 계속 떨어진다. 따라서 정확한 예측을 하기 위해서는 편향이 낮은 AI 모델을 만드는 것이 중요하다. 분산은 예측값과 예측값 사이의 거리를 나타낸다. 분산은 머신러닝 분야에서 예측값 사이의 거리를 비교하는 데 사용된다. 모델의 예측값과 예측값이 멀리 떨어져 있으면 모델은 분산이 높다. 분산이 큰 모델은 예측 분포가 크다는 것을 의미하고, 분산이 큰 모델은 과적합으로 인해 모델을 일반화하기 어렵다는 것을 의미한다. 분산이 큰 모델은 너무 복잡해서 새로운 데이터를 입력할 때 오류가 발생할 가능성이 높다. 반면 분산이 낮으면 예측값과 예측값 사이의 값이 작아서 보다 정확한 예측을 할 수 있는 모델이 된다. 편향과 분산은 일반적으로 서로 “반비례”합니다.
바이어스 의미와 개념 설명
바이어스는 머신러닝 분야에서 여러 데이터 집합을 기반으로 예측된 값의 중심이 실제 값의 중심에서 얼마나 떨어져 있는지를 의미합니다. 바이어스는 머신러닝에서 기본적인 값과 같습니다. 중심이 올바른 정답 값일 경우 처음에 올바른 답을 얻기 위해 올바른 답을 목표로 삼기가 쉽지 않을 수 있습니다. 따라서 올바른 답 값의 목표를 지속적으로 보정할 필요가 있습니다. 여러 번 예측을 할 때 예측 값이 모두 왼쪽 위를 향하고 있다면 다음에는 조금 더 오른쪽 아래를 목표로 삼아야 합니다. 왼쪽 위로 편향된 예측 값의 방향을 오른쪽 아래로 보정할 수 있습니다. 머신러닝에서 바이어스는 모델이 예측 결과를 조금 더 정확하게 보정하는 데 도움이 되는 기준입니다. 작은 바이어스는 여러 데이터 집합을 기반으로 반복적으로 추정하는 과정을 통해 전체 오류를 줄일 수 있음을 의미합니다. 반면에 큰 바이어스는 올바른 답을 얻을 가능성이 낮음을 의미합니다. 분산은 여러 데이터 집합에 기반한 예측 결과가 결과의 평균 값과 비교하여 얼마나 퍼져 있는지를 나타내는 값입니다. 분산이 작은 모델은 함수의 예측 값이 크게 변하지 않는다는 것을 의미합니다. 반대로 분산이 큰 모델은 함수의 개별 예측 값이 크게 변할 수 있다는 것을 의미합니다.[편향과 분산 비교]
편향과 분산은 일반적으로 서로 반비례합니다. 이를 편향-분산 트레이드오프라고 합니다. 편향과 분산의 관계는 한 값이 클 때 다른 값은 작아지는 경향이 있다는 것입니다. 편향이 낮을 때 분산은 증가하고 전체 오차도 감소합니다. 머신러닝의 머신러닝 과정에서 이는 모델의 성능과 직접 관련이 있으므로 편향-분산 트레이드오프 관계를 유지하면서 전체 오차 값을 최소화하는 적절한 균형점을 찾는 것이 중요합니다. 모델은 편향과 분산의 정도에 따라 네 가지 유형으로 분류할 수 있습니다. 네 가지 유형의 모델은 높은 편향과 높은 분산, 낮은 편향과 높은 분산, 높은 편향과 낮은 분산, 낮은 편향과 낮은 분산의 네 가지 경우입니다.[모델의 편향과 분산 정도에 따른 분류]
높은 편향과 높은 분산은 가장 정확도가 낮고 가장 무의미한 모델입니다. 낮은 편향과 높은 분산은 예측값이 전반적으로 정답에 가깝지만 예측값이 분산된 유형입니다. 여기에는 의사결정 트리, 인공 신경망(ANN), 지원 벡터 머신(SVN), K-최근접 이웃 분류 알고리즘이 포함됩니다. 또한 가장 복잡한 모델 유형입니다. 높은 편향과 낮은 분산은 예측값이 서로 가깝지만 전반적으로 정답과는 거리가 먼 유형입니다. 로지스틱 회귀 모델이 대표적인 예입니다. 이는 가장 복잡도가 낮은 유형입니다. 낮은 편향과 낮은 분산은 예측값이 서로 가깝지만 동시에 정답에 가까운 유형입니다. 낮은 편향과 낮은 분산은 가장 바람직한 모델입니다. 가장 이상적인 모델입니다. 그러나 현실 세계의 모델은 낮은 편향과 낮은 분산을 가질 수 없으며 대부분의 편향과 분산은 서로 반비례합니다. 모델의 복잡도가 크면 편향이 낮고 분산이 높고, 반대로 모델의 복잡도가 작으면 편향이 높고 분산이 낮습니다. 인공지능(AI)의 머신러닝에서 편향을 없애려는 노력은 매우 중요합니다. 연습하면 완벽해진다는 말은 인공지능 분야에서 반은 맞고 반은 틀립니다. 인공지능이 아무리 반복해서 학습하더라도 잘못된 연습으로는 완벽해지지 않습니다. 다시 말해 머신러닝에서 완벽한 연습은 완벽해지게 합니다. 인공지능 머신러닝에서 잘못된 머신러닝은 편향을 강화하고 잘못된 결과를 낳습니다. 잘못된 연습은 실제로 머신러닝을 통해 AI 편향을 강화할 수 있습니다. 따라서 편향 조건을 제거하는 것이 중요하며 그에 따라 결과가 달라질 수 있습니다. 편향은 한 쪽의 잘못된 쪽으로 기울어지는 경향입니다. 실제 값에 대한 예측 값의 오류를 말합니다. 편향은 인공지능과 생성 AI 분야에서도 나타날 수 있으며 머신러닝 편향 또는 알고리즘 편향이라고 합니다. AI 편향은 왜곡된 결과를 낳을 수 있으므로 주의해야 합니다.