베이즈 결정 경계와 k값

• 베이즈 결정 경계는 이론적으로 가장 이상적인 분류 경계를 의미합니다. 이 경계가 매우 비선형적이라는 것은 실제 클래스를 구분하는 최적의 선이 매우 복잡하고 구불구불하다는 뜻입니다.
• K-NN 모델에서 K 값은 모델의 유연성(Flexibility)을 결정합니다.
  • K가 작으면 (예: K=1), 모델은 주변의 아주 가까운 이웃에만 영향을 받으므로, 국소적인 데이터 변화에 민감하게 반응하여 매우 유연하고 복잡한(비선형적인) 결정 경계를 만듭니다. 이는 낮은 편향(low bias)을 갖는 경향이 있지만, 훈련 데이터의 노이즈에도 민감해져 분산(variance)이 높아질 수 있습니다(과적합 위험 증가).
  • K가 크면, 모델은 더 넓은 영역의 이웃들의 평균적인 특성을 따르므로, 국소적인 변화에 덜 민감하고 더 부드럽고 덜 유연한(선형에 가까운) 결정 경계를 만듭니다. 이는 분산이 낮아지는 경향이 있지만(과적합 위험 감소), 실제 복잡한 패턴을 놓칠 수 있어 편향이 높아질 수 있습니다(과소적합 위험 증가).
• 따라서, 매우 비선형적인 실제 베이즈 결정 경계를 잘 근사(approximate)하기 위해서는, 모델 역시 높은 유연성을 가져야 합니다. 즉, 작은 K 값을 사용하는 것이 복잡한 실제 경계를 더 잘 포착할 수 있게 해주므로 더 좋은 성능(낮은 테스트 오류)을 기대할 수 있습니다. 큰 K를 사용하면 결정 경계가 너무 단순화되어 실제 데이터의 복잡한 패턴을 제대로 학습하지 못하게 됩니다(높은 편향, 과소적합).
  
  

Source : Gemini-2.5-pro(experimental)