Support Vector Machine (SVM) 노트 #1

개요

• 두 범주를 잘 분류하면서 마진(margin)이 최대화된 초편명(hyperplain)을 찾는 기법 (선형분류)
• 분류 또는 회귀 분석에 사용 가능한 hyperplain 또는 hyperplain들의 집합으로 구성

최적화 - 초평면에서 가장 가까운 각 클래스의 데이터 점들 간의 거리를 최대로 하는 초평면 (최대마진 초평면)을 선택

Q: 종종 데이터가 선형 구분이 되지 않는 문제

A: 초기 문제의 유한 차원에서 더 높은 차원으로 대응시켜 분리를 쉽게 하는 방법

• Kernel-SVM의 핵심 아이디어: Input Space의 데이터를 선형분류가 가능한 Feature Space로 Mapping 한 뒤 두 범주를 분류하는 초평면을 찾는다

• Mapping Function (Input space => Feature Space로 바꿔주는 함수): Hard-margin SVM과 Soft-Margin SVM 라그랑지안 Dual 식은 동일