머신러닝, 딥러닝/Dimension Reduction2 [ML] 특이값 분해(Singular Value Decomposition, SVD) -목차- 1. 특이값 분해(SVD)의 개요 2. SVD의 기하학적 의미 3. SVD의 수학적 의미 4. SVD의 목적 5. Full SVD와 Truncated SVD 1. 특이값 분해(SVD)의 개요 특이값 분해(SVD) 역시 PCA와 유사한 행렬 분해 기법을 이용한다. PCA의 경우 정방 행렬만을 고유 벡터로 분해할 수 있지만, SVD는 정방 행렬뿐만 아니라 행과 열의 크기가 다른 행렬에도 적용할 수 있다. 일반적으로 SVD는 임의의 \(m\times n\)차원의 행렬 \(A\)에 대하여 다음과 같이 행렬을 분해할 수 있다는 ‘행렬 분해(decomposition)’ 방법 중 하나이다. \[A = U\Sigma V^T\] 행렬 \(U\)와 \(V\)에 속한 벡터는 특이 벡터(singular vector).. 2022. 3. 1. [ML] 주성분 분석(PCA) 1. PCA(Principal Component Analysis) 개요 PCA는 가장 대표적인 차원 축소 기법이다. PCA는 여러 변수 간에 존재하는 상관관계를 이용해 이를 대표하는 주성분(Principal Component)을 추출해 차원을 축소 하는 기법이다. PCA로 차원을 축소할 떄는 기존 데이터의 정보 유실이 최소화 되도록 차원을 축소한다. 이를 위해서 PCA는 가장 높은 분산을 가지는 데이터의 축을 찾아 이 축으로 차원을 축소하는데 이것이 PCA의 주성분 분석이 된다. 즉 분산이 데이터의 특성을 가장 잘 나타내는 것으로 간주하는 것이다. 100명의 학생들이 국어 시험과 영어 시험을 봤다고 생각해보자. 영어 시험이 조금 더 어려웠고 그 결과 중 일부는 대략적으로 다음과 같았다고 하자. 국어 점수.. 2022. 2. 27. 이전 1 다음
