의사결정 트리(decision tree)는 머신러닝 학습법 중 하나로, 우리가 흔히 알고 있는 수형도라고 생각하면 좋다. 책에서는 계속 예시로 이용하던 '수박'으로 내용을 진행했다. '잘 익은 수박'은 양성 클래스, 아니면 음성 클래스로 분류했다. 의사결정 트리는 하나의 루트 노드(root node)와 여러 개의 리프 노드(leaf node / terminal noe)로 구성된다. 수형도처럼 하나의 속성 테스트 결과에 따라 하위 노드로 분류되는 과정이다. 기본 과정을 간단하게 나타내면 해당 노드에 포함된 샘플(훈련 세트에서 나온 것)이 모두 같은 클래스에 속하면, 분할 더 이상 진행하지 않음. 해당 속성 집합이 0(공집합), 즉 모든 샘플들의 속성이 전부 같으면, 분할 더 이상 진행하지 않음. = 리프 ..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/cy5QlI/btsyDzVHYPE/rLkadwg1yq9cX4C4JXxMV1/img.png)
\(X, U vector space\)에 대해 \(L : X \to U\)를 만족하는 방정식, \( L(x) = u\)은 linear하다. 여기서 u는 U의 원소. \(L(x) = u \) inhomogeneous 와 \(L(x) = 0\) homogeneous에 대해 (\(u \neq 0\)) 배워볼 예정이다. 여기서 본격적으로 kernel(null space)과 range(image space)에 대해 나오는데, 정의는 다음과 같다. \(X, U\) vector space에 대해 \(L : X \to U\)을 linear하다고 하자. ker(L)의 kernel은 영공간으로 정의는 다음과 같다. 모든 set의 답은 L(x) = 0으로, \[ker(L) = \left\{ x \in X : L(x) = 0..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/L9fdr/btsytKqPptb/xwjvjvhKPIQHdrdka6LdP0/img.png)
\(X\)와 \(Y\) set에 대해 함수 \(f : X \to Y\)가 bijection(일대일 대응)이라고 하자 책의 흐름 정도로만 정리하고 있기에 밑의 블로그 글에 엄밀한 설명이 나와 있으므로 참고한다. https://aerospacekim.tistory.com/50 [선형변환부터 동형사상까지] ch8. 동형사상이전 읽을거리 : [선형변환부터 동형사상까지] ch7. 가역인 선형변환 본 포스팅은 '프리드버그 선형대수학(5판)'을 공부하며 작성하였습니다. 11. 동형사상 ※ 본 포스팅의 도입부는 다소 엄밀하지aerospacekim.tistory.com동형사상(Isomorphic)에 대해 배워볼 것이다. 우선 Linear Operator에 관한 개념을 상기시키면서 알아보자.\(X, Y\)을 임의의 set..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/8ktGy/btsytitPHGm/UZ8tujkxiKBou5vj5fbqSK/img.png)
Linear Operator의 다양한 특징에 대해 더 알아보자. \(F\)-vector space \(X, U\)에 대해 다음을 만족한다. 1. \(L : X \to Y\)가 linear하면, \( \alpha \in F\)에 대해 \(\alpha L\) 또한 linear하다. 2. \(L : X \to Y\)과 \(M : X \to U\)가 linear하면, \(L+M\) 또한 Linear하다. 이런 linear operator 또한 vector space이다. 이전 장에서 배운 두 가지를 복습해보자. 1. \(A \in F^{m \times n}\)을 linear operator \(T : F^{n} \to F^{m}\)에 대해 식 \( T(x) = Ax. x \in F\) 다음과 같이 나타낸다. \..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/brLnjt/btsysrrdTFx/5msMmJQcfDfQo2Nnn2WTy1/img.png)
이제 Linear Transformation에 대해 배워볼 것이다. 우선 정의는 다음과 같다. \(F- vector space X, U\)에서 \(L : X \to U\)라고 하면, 다음 두 조건을 만족하면 L은 Linear하다. 1. \(L(\alpha x) = \alpha L(x)\) for all \(\alpha \in F, x \in X\) 2. \(L(x+y) = L(x) + L(y)\) for all \(x, y \in X\) L을 Linear Operator라고 한다. \(F\)- vector space \(X, U\)에서 \(L : X \to U\)인 Linear Operator L에서 \(x_1, x_2, \cdots x_k \in X\), \(\alpha_1, \alpha_2, \cdo..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/b6DwzX/btsytPYMss1/uPtpHRDtDmkZyO2GPzUl9K/img.png)
이걸 갑자기 왜 배우냐하면, 흔히 우리가 아는 x-y 좌표에서의 계산을 선형대수학과 연관시켜 풀이하기 위함이다. 우선 라그랑주 보간법(Lagrangian Interpolation)이란 n+1개의 좌표로 n차 다항식을 만드는 방법이다. Shamir's secret sharing & Lagrange Interpolation의 관계 비밀 데이터를 나누는데 사용되는 방법으로 위의 두 것이 같이 쓰인다는 것이다. https://research-note.tistory.com/7 Shamir's Secret Sharing과 Lagrange Interpolation Secret Sharing 비밀 데이터를 여러 조각으로 "나누어" 분산 저장하는 작업이며, 유사시 여러 조각들을 취합하여 비밀 데이터를 복구한다. 단, 비..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/bGT1MP/btsytsv0ze2/3DN08DHGqHY3ehxNrAQRk0/img.png)
전 장에서 얘기한 기호를 자세히 설명해보면서 bases(basis의 복수)의 성질에 대해서도 알아보자. finite-dimensional vector space의 모든 nontrivial subspace는 basis를 가지는데, 고려하여 basis 정의를 다시 살펴보자. \(F-vector space V\)를 nontrivial vector space라고 하고, \({u_1, u_2 \cdots u_n}\)이 \(V\)에 span한다고 하면, 이 \({u_1, u_2 \cdots u_n}\) subset은 \(V\)의 basis이다. 우리는 벡터가 더 많았을 때 sp 안의 벡터가 줄어드는 경우만 자주 봤었다. 그러나 반대의 경우도 성립한다. \(F-vector spaceV\)를 finite-dimensi..