개발자와 공학자 그 사이

훈련 세트의 샘플들을 분리할 때 분할 초평면이 쓰인다. 가장 잘 분리된 분할 초평면이란 이분법적 분리 클래스에서 샘플이 분류 경계에서 어느 정도 거리기 있어 오류가 없는 초평면 상태이다. 샘플 공간에서 분할 초평면은 다음 선형 방정식을 통해 묘사된다. $w^{T}x+b=0$ $w$ 는 법선 벡터이고, 초평면의 방향을 결정한다. $b$는 변위항으로 초평면과 원점 간의 거리를 결정한다. 샘플 공간에서의 임의점 x에서 초평면 ($w,b)$까지의 거리는 $$r=\frac{|w^{T}x+b|}{\Vert w\Vert }$$ 양성 클래스 +1 이면, $w^{T}x+b>0$. 음성 클래스 -1이면, \( w^{T}x + b

의사결정 트리(decision tree)는 머신러닝 학습법 중 하나로, 우리가 흔히 알고 있는 수형도라고 생각하면 좋다. 책에서는 계속 예시로 이용하던 '수박'으로 내용을 진행했다. '잘 익은 수박'은 양성 클래스, 아니면 음성 클래스로 분류했다. 의사결정 트리는 하나의 루트 노드(root node)와 여러 개의 리프 노드(leaf node / terminal noe)로 구성된다. 수형도처럼 하나의 속성 테스트 결과에 따라 하위 노드로 분류되는 과정이다. 기본 과정을 간단하게 나타내면 해당 노드에 포함된 샘플(훈련 세트에서 나온 것)이 모두 같은 클래스에 속하면, 분할 더 이상 진행하지 않음. 해당 속성 집합이 0(공집합), 즉 모든 샘플들의 속성이 전부 같으면, 분할 더 이상 진행하지 않음. = 리프 ..