![8
Week7. SVM – [참고] 파라미터 C가 SVM모델에 미치는 영향
C는 regularization 파라미터 𝝀와 연관되어, 모델학습시 overfitting을 조정함
C값이 decision boundary에 미치는 영향은? 그럼 어떤 C값을 선택해야 할까?
• C가 크면 상대적으로 Cost(Θ 𝑻
x(𝒊)
)의 값이 작아져야 전체 cost가 최소화됨.
• 또한 C =
𝟏
𝝀
이 관계에서 𝝀 가 작아진다는 의미임.
• 즉, 𝝀가 작으면 back propagation 과정에서 가중치 Θ가 미치는 영향이
커지고, 학습데이터에 최적화 à overfitting 확률이 높아짐.
• 결국 모든 데이터가 오류없이 분류되도록 Decision boundary 생성됨
• 결국 실제 데이터 or Test Data를 얼마나 잘 예측하느냐가 중요함.
• 이 관점에서 보면 왼쪽의 decision boundary에서 어떤 데이터가 앞으로
입력되는지에 따라 C값이 평가됨.
• 이 경우에는 large C
로 학습한 모델이 뛰
어남.
• 이 경우에는 low C로
학습한 모델이 더 좋
음.
Cross
validation을
통해 결정
https://stats.stackexchange.com/questions/31066/what-is-the-influence-of-c-in-svms-with-linear-kernel](https://image.slidesharecdn.com/svmv0-170619005336/85/SVM-8-320.jpg)
![10
Week7. SVM – Decision Boundary를 선택하는 과정은?
Θ가 최소가 되는 선형을 선택
• [왼쪽 그래프]
• 녹색 Decision boundaryrk가 주어졌을때, 직교하는 Θ에, X(𝟏)
이 투영된 거리인
P가 너무 작다.
• P가 작다는 의미는, ||Θ||가 아주 크다는 의미이므로 Cost Function의 값이 커
지는 문제가 발생한다 (cost function =
𝟏
𝟐
||Θ|| 𝟐
)
• [오른쪽 그래프]
• Θ의 선이 X축의 수령으로 주어졌을 때, X(𝟏)
이 투영된 거리인 P가 크가.
• P가 크다는 의미는, ||Θ||가 작아진다는 의미이므로 Cost 가 줄어들게 된다. (최적)
Θ0가 0이라는 의미는 Θ의 직선이
(0,0)을 지남을 의미
P가](https://image.slidesharecdn.com/svmv0-170619005336/85/SVM-10-320.jpg)
![Week7-2. Kernels – 그런데 landmark는 어떻게 선택하지?
복잡한 문제의 경우, 많은 landmark가 필요할 수 있다.
Landmark는 어떻게 선택하고, f를 계산할까? 결정된 f값을 SVM에서 어떻게 활용하는가?
1. 학습 데이터를 읽어온다. (100건)
2. 학습 데이터 별로 landmark를 생성한다. (학습데이터와 동일한 위치)
• 학습데이터 1건 별로 1개의 landmark가 생성됨
• 최종 100개의 landmark 생성
3. 새로운 샘플이 주어지면, 모든 landmark와의 거리(f)를 계산한다.
• 𝒇 𝟎~𝒇 𝟗𝟗 , 총 100개의 f 결과
• 𝒇 𝟎 = 𝟏 (𝜽 𝟎는 bias 값이므로, 값을 그대로 유지)
• 자세히 계산과정을 보면
• 𝒇 𝟏
𝒊
, = 𝑲 𝒙𝒊
, 𝒍 𝟏
• 𝒇 𝟐
𝒊
, = 𝑲 𝒙𝒊
, 𝒍 𝟐
• ….
• 𝒇 𝟗𝟗
𝒊
, = 𝑲 𝒙𝒊
, 𝒍 𝟐
• 위 과정을 반복하면, X 자신과 동일한 landmark와 비교하는 구간이
있다. à 이 경우 Gaussian Kernel에서는 1로 평가 (동일한 위치)
• 이렇계 계산된 f 값을 [m(99)+1 x 1] 차원의 vector로 저장한다.
• 𝒇𝒊 à f 벡터의 i 번째 데이터를 의미
X값이 vector(배열)로 구성된 경우
1. 이전에 정의했던 수식을 확인해보자
• 𝑷𝒓𝒆𝒅𝒊𝒄𝒕 𝒚 = 𝟏
• 𝒘𝒉𝒆𝒏 𝜽 𝑻
𝒇 ≥ 𝟎
• 𝑨𝒏𝒅 𝒇 = [𝒎 + 𝟏 ∗ 𝟏]
2. 그럼 𝜽는 어떻게 계산할 수 있을까?
• SVM Optimization 알고리즘 이용
• 위 최적화 결과를 최소화하기 위해 f 벡터를 이용한다.
• 그리고 이 최적화 알고리즘을 계산하면, 𝜽를 찾을 수 있게 된다.
3. 계산 성능 향상을 위한 Tip
• 위 예시에서 m = n으로 가정 (학습 데이터와 f 벡터의 수가 같기
떄문)
• 좌측방식 구현보다는 우측 방식으로 구현하는 것이 계산성능 향상
• 데이터가 많을 경우 수많은 for loop를 하지 않고, 매트릭 계산](https://image.slidesharecdn.com/svmv0-170619005336/85/SVM-20-320.jpg)
내가 이해하는 SVM(왜, 어떻게를 중심으로)
- 1. SVM (Support Vector Machine) 질문으로 이해하기 1 2017.06 freepsw Coursera Machine Learning by Andrew NG 강의에서 명확하게 이해가 안되는 SVM만 따로 정리 (내가 궁금한것 중심으로…)
- 2. 2 Week7. SVM 이해 데이터를 분류하는 최적(margin을 최대화) 선을 찾는 것 정확한 예측을 위한 확률을 기반으로 분류 Linear Regression SVM Margin을 이용하여 초평면(hyper plane)을 생성해 분류 • Margin을 최대화하는 decision boundary를 제공함. • 장점 • 학습 데이터에 over fitting 방지 • 비선형 데이터 분류도 가능 (Kernel method활용) • 단점 • 학습 데이터의 margin이 적을 때 문제 발생가능 • Support vector(margin) 근처의 데이터만 고려함. • 고차원 데이터에서 효율적 (비선형 à 고차원 변환) Soft-margin SVM Hard-margin SVM • 𝑯 𝜽(𝒙)가 정답의 확률을 의미함. • 이 확률을 input값으로 Loss를 계산하고, • Loss를 최소화하면서 분류를 진행함. • 즉, 학습 데이터에서 loss를 최소화 하는 관점으로 접근 • è 학습에 최적화되어 Test 데이터를 잘 분류하지 못하는 경우가 있음. Margin을 이용한 분류
- 3. 3 Week7. SVM – Decision Boundary는 어떻게 결정하는가? 가중치 벡터(W)에 직교하면서, margin이 최대가 되는 선형을 찾는다 • 𝑾 𝑻 𝑿 + 𝒃 = 𝟎 의 수식을 따르는 선형을 Decision Boundary 라고함 • 또한 가중치 벡터 W는 Decision Boundary와 직교(90 도)해야 한다. http://www.cs.colostate.edu/~asa/pdfs/howto.pdf Decision Boundary • W : 가중치 벡터 • X : 입력값 • b : 원점(origin)에서 이동한 거리 • 현재는 margin 없이 분류함 (SVM이 아님, Decision boundary 이해를 위한 그림 Decision Boundary가 되려면? 왜 W 와 Decision Boundary는 직교해야 하나? • 계산상의 편의를 위해서, b=0(원점을 지남)로 가정하면 • 𝑾 𝑻 𝑿 = 𝟎 à Decision Boundary 로 정의할 수 있고, • 2개 벡터 내적의 결과가 0이 되는 각도는 90 이므로 직교한다고 표현함. 왜 벡터 내적의 합이 0 이면 90도가 되는가? • 2개 벡터(W, X)의 내적은 P가 된다. • 이때 내적의 값이 가장 커지는 각도는 0도가 되고, • 내적의 값이 0이 되는 각도는 90도가 된다. • 즉, WX=0일 때, 벡터 X의 모든 점들은 벡터 W에 직교한다는 의미가 됨. http://mrw0119.tistory.com/12 0 1 2 3 1 2 3 4 5 W X P O 90도 à WX = 0 0도 à WX = 최대
- 4. 4 Week7. SVM – Margin을 최대로 하는 Decision Boundary? Margin이 커지면 학습 데이터에 최적화 되지 않고, 실제 데이터의 분류정확도 향상 Margin이 없는 경우 Decision Boundary Margin을 활용한 Decision Boundary https://www.cise.ufl.edu/class/cis4930sp11dtm/notes/intro_svm_new.pdf • 직관적으로 봤을 때, • 분류하는 선이 향후 데이터가 추가되었을때 제대로 분류하지 못할 가능성이 커보임 • Decision boundary와 평행하고, 가중치 벡터(W)와 직교하며, • Decision boundary와 가장 가까운 좌표와의 거리가 최대가 되는(margin) • 3개의 벡터 (support vector)를 기준으로 • Decision boundary 결정 • 𝑾 𝑻 𝑿 + 𝒃 = 𝟏 (b=0으로 가정했을때, 𝑾 𝑻 𝑿 > 𝟏 경우 Class2로 분류) • 𝑾 𝑻 𝑿 + 𝒃 = −𝟏 (b=0으로 가정했을때, 𝑾 𝑻 𝑿 < −𝟏 경우 Class1로 분류) Margin은 어떻게 계산할까? Support Vector maxmize margin
- 5. 5 Week7. SVM – Margin은 어떻게 계산할까? Margin이 커지면 학습 데이터에 최적화 되지 않고, 실제 데이터의 분류정확도 향상 Margin 계산방식 직선의 방정식을 이용한 margin 계산 https://www.cise.ufl.edu/class/cis4930sp11dtm/notes/intro_svm_new.pdf • 각 클래스에서 decision boundary와 가장 가까운 point를 𝑿 𝟐 𝑪𝒍𝒂𝒔𝒔 𝟐 , 𝑿 𝟏 𝑪𝒍𝒂𝒔𝒔𝟏 이라고 가정하면, (b=0로 가정) • 𝑾 𝑻 𝑿 𝟏 = −𝟏 , 𝑾 𝑻 𝑿 𝟐 = 𝟏 • 𝒎 = 𝑾 𝑻 𝑿 𝟐 H 𝑾 𝑻 𝑿 𝟏 è 이를 직선( 𝑾 𝑻 𝐗 = 𝟎) 과 𝑿 𝟏 , 𝑿 𝟐 간 거리로 분리 • = | 𝟏 | 𝑾 + |H𝟏| 𝑾 • = |𝟐| 𝑾 • 위 공식을 이용하여 왼쪽의 방정식을 대입해 보면, (b=0로 가정) • 𝑾 𝑻 𝑿 𝟏 = 𝟏 : 𝑾 𝑻 𝑿 + 𝒃 = 𝟏 인 직선에서 𝑿 𝟏 포인트를 지나는 선 • 𝑾 𝑻 𝑿 𝟐 = −𝟏 : 𝑾 𝑻 𝑿 + 𝒃 = −𝟏 인 직선에서 𝑿 𝟐 포인트를 지나는 선 • 𝑾 𝑻 𝑿 = 𝟎 와 𝑿 𝟏 과의 거리는 è K 𝑾 𝑻 𝑿 𝟏K 𝑾 𝟐 = K 𝑾 𝑻 𝑿 𝟏K 𝑾 = |H𝟏| 𝑾 • 𝑾 𝑻 𝑿 = 𝟎 와 𝑿 𝟏 과의 거리는 è K 𝑾 𝑻 𝑿 𝟐K 𝑾 𝟐 = K 𝑾 𝑻 𝑿 𝟐K 𝑾 = | 𝟏 | 𝑾 An Idiot’s guide to Support vector machineshttp://mathbang.net/453 직선 𝑃𝐻 계산하기 • 직선 PH와 점 P 사이의 거리를 구하는 공식 • 직선 (3x + 4y -3 =0)과 점(2,3)의 거리 è 𝑿 𝟏 𝑿 𝟐 거리의 개념으로 절대값을 사용하고, 2개의 거리를 더함
- 6. 6 Week7. SVM – Margin은 어떻게 최대화 하는가? 먼저 SVM은 어떻게 모델을 최적화 하는지 이해해 보자 • Hinge loss란 margin을 최대화 하는 분류모델(SVM)에서 사용하는 loss function • 공식 : • t = 의도한 결과 (예를 들면, +1, -1) • Y = 분류 결과 (𝒚 = 𝑾𝑿 + 𝒃), 𝒙 = 분류할 𝒊𝒏𝒑𝒖𝒕 𝒑𝒐𝒊𝒏𝒕 • 여기서 기존 loss와 다른점이 y가 예측된 class label의 확률이 아니라, wx +b의 결과값이라는 것이다. (Logistic regression은 y에 sigmoid함수의 결 과인 확률값을 입력함) • 만약 t와 y가 동일한 sign(y가 분류한 값이 정답인라는 의미)을 가지면, • |y| > 0, hinge loss = 0가 된다 SVM Cost Function Hinge loss 란? https://wikidocs.net/4280 • 정답의 유형(0 or 1)에 따라서 Cost가 증가하는 방향이 다르고, • Logistic Regression의 Log기반의 cost함수(cross-entropy)와 다르게, hinge loss 함수를 사용함. • • Hinge loss : • 정답은 1인 경우 • 파란 선 : hinge loss • 녹색 선 : zero-one loss • t = 1 일때, • Y > 1 (예측이 맞음) à loss = 0 • Y < 1 (예측이 틀림) à loss 증가 Sign은 동일한데, y가 소수점으로 나면? Max (0, 1 – 1*0.5) = 0.5 ??? è margin 영역에 포함 된다고 판단하고, 페 널티(0.5)를 부여 è -이면 maring에서 떨어졌다고 판단하 여 패널티 부여 안함
- 7. 7 Week7. SVM – Margin은 어떻게 최대화 하는가? 먼저 SVM은 어떻게 모델을 최적화 하는지 이해해 보자 Logistic Regression 과 비교한 SVM 최적화 왜 SVM에서는 최적화 함수를 CA + B로 변환했을까? • 첫번째로, cost 최적화에 영향이 없는 상수인 m을 제거하고, • 두번째로, 새로운 cost 함수(hinge loss)를 이용하였으며, • 세번쨰로, 새로운 매개변수인 C를 이용하여 A함수를 최적화하는 방식을 사용한다. • C는 𝟏 𝝀 의 관계로 정의하고, regularization 단계에서 𝝀를 제거하였다. • 결국 A + 𝝀B(logistic regression) = CA + B(SVM)은 동일한 결과를 제공한다. • C가 아주 큰 값이라고 가정해 보자. (C = 100,000) è 엄격한 분류 • SVM에서 CA + B à 최소화 하려면 A가 0이되어야 한다. • A가 0이 되기 위해서는 hinge loss의 값이 0이 되어야 하며, • 즉 아래와 같은 조건이 필요하다 • AC = 0으로 정의하면, 최적화 공식이 아래와 같이 단순해 진다. • 이제부터 SVM Decision Boundary를 찾기 위해서는 • Θ가 최소가 되는 선형을 찾으면 되도록 공식을 단순화 함. Θ 만 최적화에 영향을 줌 A C가 크다고 가정한 이유는. C = a b 로 가정한 경우, 𝝀 의 값이 적다는 의미임. 즉, regularization에 영향이 적어서, 모 델의 overfitting이 높아짐. à 결국 Training data에 대하여 오분 류가 없도록 분류하게 됨.
- 8. 8 Week7. SVM – [참고] 파라미터 C가 SVM모델에 미치는 영향 C는 regularization 파라미터 𝝀와 연관되어, 모델학습시 overfitting을 조정함 C값이 decision boundary에 미치는 영향은? 그럼 어떤 C값을 선택해야 할까? • C가 크면 상대적으로 Cost(Θ 𝑻 x(𝒊) )의 값이 작아져야 전체 cost가 최소화됨. • 또한 C = 𝟏 𝝀 이 관계에서 𝝀 가 작아진다는 의미임. • 즉, 𝝀가 작으면 back propagation 과정에서 가중치 Θ가 미치는 영향이 커지고, 학습데이터에 최적화 à overfitting 확률이 높아짐. • 결국 모든 데이터가 오류없이 분류되도록 Decision boundary 생성됨 • 결국 실제 데이터 or Test Data를 얼마나 잘 예측하느냐가 중요함. • 이 관점에서 보면 왼쪽의 decision boundary에서 어떤 데이터가 앞으로 입력되는지에 따라 C값이 평가됨. • 이 경우에는 large C 로 학습한 모델이 뛰 어남. • 이 경우에는 low C로 학습한 모델이 더 좋 음. Cross validation을 통해 결정 https://stats.stackexchange.com/questions/31066/what-is-the-influence-of-c-in-svms-with-linear-kernel
- 9. 9 Week7. SVM – Margin은 어떻게 최대화 할까? (벡터 내적 이해) Vector 내적을 이용하여 margin을 최대화(cost 최소화) 하는 ||Θ||를 계산 • P는 V를 90도로 U에 투영한 선을 나타낸다. • 이를 공식으로 표현하면, 𝑼 𝑻 𝑽 = P∙||U|| • 이때 90도 이상인 P는 음수를 가지게 된다. • 결국 벡터의 내적은 2개 벡터간의 각도에 따라서 양수/음수가 결정된다. Vector 내적의 이해 SVM의 cost 함수에서 Θ 를 계산하는 용도로 활용 • 공식을 변형하여 ||Θ|| (Θ 의 거리, Θ1 𝟐 + Θ2 𝟐)를 활용 • Θ 값을 U로 정의하면, 위와 같은 그래프가 그려지고 • V를 90도로 투영하면 P가 계산될 수 있다. • 그리고 Θ 𝑻 x(𝒊) = P(𝒊) ||Θ|| 로 대체가능하게 된다.
- 10. 10 Week7. SVM – Decision Boundary를 선택하는 과정은? Θ가 최소가 되는 선형을 선택 • [왼쪽 그래프] • 녹색 Decision boundaryrk가 주어졌을때, 직교하는 Θ에, X(𝟏) 이 투영된 거리인 P가 너무 작다. • P가 작다는 의미는, ||Θ||가 아주 크다는 의미이므로 Cost Function의 값이 커 지는 문제가 발생한다 (cost function = 𝟏 𝟐 ||Θ|| 𝟐 ) • [오른쪽 그래프] • Θ의 선이 X축의 수령으로 주어졌을 때, X(𝟏) 이 투영된 거리인 P가 크가. • P가 크다는 의미는, ||Θ||가 작아진다는 의미이므로 Cost 가 줄어들게 된다. (최적) Θ0가 0이라는 의미는 Θ의 직선이 (0,0)을 지남을 의미 P가
- 11. 11 Week7. SVM – 연습문제 풀이 (Decision Boundary를 직관적으로 계산) 3개의 point를 2개의 class로 분류해 보자. • Weight vector는 어떻게 찾을 수 있을까? • 2 class간에 가까운 좌표 (1,1) 과 (2,3) 사이에 존재 함 • 즉 (1, 2)값을 가지게 됨 è 즉, 기 울기 2/1을 가지는 선형임. • 𝜽 = (1, 2) Weight Vector를 찾아보자 • Class 1 : (2,3) 1개 • Class 2 : (1,1), (2,0) 2개 https://nlp.stanford.edu/IR-book/html/htmledition/support-vector-machines-the-linearly-separable-case-1.html (2,3) (1,1) (2,0) (2,3) (1,1) (2,0) (2) (1) 𝜽 직관적(geometrically)으로 계산한 decision boundary는? 𝒙 𝟏 𝒙 𝟐 (2,3) (1,1) (2,0) (1.5) 𝜽 𝟗𝟎 𝒐 • Decision boundary의 조건은 𝜽 에 직교해야 한다. • 또한 각 support vector (2,3) (1,1)의 중간에 위치해야 한다. • 따라서 decision boundary는 2 좌표의 중간지점인 (1.5, 2)를 지나야 함 • 1 + (2-1)/2 = 1.5 • 1 + (3-1)/2 = 2 • 이렇게 도출된 W와 좌표(1.5, 2)를 기반으로 계산해 보면 • 𝒙 𝟏 + 𝟐𝒙 𝟐 + 𝒃 = 𝟎 가 도출되고, • 여기서 b는 𝜽(1,2)와 X(1.5, 2)를 대입하면 계산가능함. • 𝟏. 𝟓 + 𝟐 ∗ 𝟐 + 𝒃 = 𝟎 è 𝒃 = −𝟓. 𝟓 • 최종 Decision Boundary • 𝒙 𝟏 + 𝟐𝒙 𝟐 − 𝟓. 𝟓 = 𝟎
- 12. 12 Week7. SVM –연습문제 풀이 (Decision Boundary를 대수학으로 계산) 3개의 point를 2개의 class로 분류해 보자. • Weight vector는 어떻게 찾을 수 있을까? • 2 class간에 가까운 좌표 (1,1) 과 (2,3) 사이에 존재 함 • 즉 (1, 2)값을 가지게 됨 è 즉, 기 울기 2/1을 가지는 선형임. • 𝜽 = (1, 2) Weight Vector를 찾아보자 • Class 1 : (2,3) 1개 • Class 2 : (1,1), (2,0) 2개 https://nlp.stanford.edu/IR-book/html/htmledition/support-vector-machines-the-linearly-separable-case-1.html (2,3) (1,1) (2,0) (2,3) (1,1) (2,0) (2) (1) 𝜽 대수학(algebraically)으로 계산한 decision boundary는? • Cost 를 최소화 하려면, 𝜽 를 작게 해야 함. • (θT xi ) = pi * ||θ|| = θ1xi 1 + θ2xi 2 • 이미 𝜽 = 𝒂, 𝟐𝒂 를 알고 있으므로, • 𝒙 𝟏 + 𝟐𝒙 𝟐 + 𝒃 = 𝟎 • 𝒂 + 𝟐𝒂 = −𝟏 è Class 2 (1,1) 대입 • 𝟐𝒂 + 𝟔𝒂 = 𝟏 è Class 1 (2,3) 대입 • 𝒂 = 𝟐 𝟓 , 𝒃 = − 𝟏𝟏 𝟓 • 따라서 최적의 decision boundary는 • 𝜽 = 𝟐 𝟓 , 𝟒 𝟓 𝒂𝒏𝒅 𝒃 = − 𝟏𝟏 𝟓 를 가짐 • 이를 대입해 보면 • 𝒙 𝟏 + 𝟐𝒙 𝟐 − 𝟓. 𝟓 = 𝟎 • Margin 은 𝟐 𝑾 이므로, • 𝟐 𝟒 𝟐𝟓 l 𝟏𝟔 𝟐𝟓 = 𝟐 𝟓 𝟓 𝟐 = 𝟓 (2,3) (1,1) (2,0) (1.5) 𝜽 𝒙 𝟏 𝒙 𝟐 𝟗𝟎 𝒐
- 14. Week7-2. Kernels 선형분류가 어려운 저차원 데이터를 고차원 공간으로 매핑하는 함수 http://gentlej90.tistory.com/43 Kernel function for SVMs & Data binarization pdf 저차원 고차원 고차원 변환을 위한 계산비용 증가 • 왼쪽의 예시와 같이 2차원(L) à 3차원(H)으로 변환한 후에 SVM과 같은 분류 모델로 학습(계산)하는 것은 성능상의 문제가 없다. • 하지만, 만약 차원이 아주 큰 고차원으로 변환한다면, 고차원 데이터(벡터)를 SVM으로 연산(내적)하는 것은 너무 많은 연산비용이 소모되어 사용이 어렵다. 커널 함수 커널 트릭 (Kernel Trick) 활용 • 수학적으로 고차원 데이터인 𝒂^, 𝒃^를 내적하는 것과, • 내적한 결과를 고차원으로 보내는 것은 동일하다. • 결국 K 𝒙𝒊,, 𝒚𝒊, = 𝝓(𝒙𝒊,) p 𝝓(𝒚𝒊,) 와 동일하다. • 따라서 알고리즘의 수식 중 𝝓(𝒙𝒊,) p 𝝓(𝒚𝒊,) 이 있는 것 은 모두 K 𝒙𝒊,, 𝒚𝒊, 로 대체 가능
- 15. Week7-2. Kernels 선형분류가 어려운 저차원 데이터를 고차원 공간으로 매핑하는 함수 Kernel함수의 예시 • 선형으로 풀수 없는 문제를 커널함수를 이용해서 고차원의 데이터로 변환하여 계산함. Kernel함수의 종류 문제에 따라 최적의 커널함수를 직접 학습& 테스트하여 찾아야함.
- 16. Week7-2. Kernels – 좀 더 자세히 이해해 보자. 비선형 decision boundary를 찾기 위해서 커널을 어떻게 이용할까? 비선형 Decision boundary를 찾자 • 위 학습 데이터를 잘 분류할 복잡한 다항 feature를 생각해 보자. • 𝒉 𝜽 𝒙 (아래의 전제를 가짐) • Return 1 : 전체 벡터(𝜽 에 의해 weighted된)의 합이 >= 0 • Return 0 : else • 위 공식을 다르게 표현하면 • 기존 X를 다양한 고차원 X항으로 표현한 새로운 feature f에 의해 곱해진 𝜽의 합을 취하는 decision boundary를 계산한다. • 𝒉 𝜽 𝒙 = 𝜽 𝟎 + 𝜽 𝟏 𝒇 𝟏 + 𝜽 𝟐 𝒇 𝟐 + 𝜽 𝟑 𝒇 𝟑 • 𝒇 𝟏 = 𝒙 𝟏 • 𝒇 𝟐 = 𝒙 𝟏 𝒙 𝟐, 𝒇 𝟑 = 𝒙 𝟐 … Kernel 함수를 정의하자 왜 이런 전제 를 가질까? 고차원 다항식보다 좋은 feature f 가 있을까? à 고차원 다항식은 계산시간이 오래걸림 • 3개의 feature를 정의하고(𝒙 𝟎 = 𝟎는 무시)이를 2개 차원으로 표시하자. (𝒙 𝟏, 𝒙 𝟐) • 그리고 2차원 공간에 3개의 임의 점을 선택한다. (𝒍 𝟏 , 𝒍 𝟐 , 𝒍 𝟑 ) à landmark • 새로운 X가 주어졌을 때, X와 𝒍 𝟏 간의 유사도(simility)를 𝒇 𝟏으로 정의 • 𝒇 𝟏 = • 𝒙 − 𝒍 𝟏 = euclidean 거리 • 𝝈 = 표준편차 • 𝝈 𝟐 = 분산 • 나머지 f 도 아래와 같이 정의해 보자 • 𝒇 𝟐 = 𝒔𝒊𝒎𝒊𝒍𝒊𝒕𝒚 𝒙, 𝒍 𝟐 = 𝐞𝐱𝐩(− 𝒙H𝒍 𝟐 𝟐 𝟐𝝈 𝟐 ) • 𝒇 𝟑 = 𝒔𝒊𝒎𝒊𝒍𝒊𝒕𝒚 𝒙, 𝒍 𝟑 = 𝐞𝐱𝐩(− 𝒙H𝒍 𝟑 𝟐 𝟐𝝈 𝟐 ) 𝒙 Kernel Gausian Kernel 𝒇 𝟏 = 𝑲 𝒙, 𝒍 𝟑 𝒇 𝟎는 항상 1로 설정, 𝜽 𝟎 값을 그대로 반영
- 17. Week7-2. Kernels – 좀 더 자세히 이해해 보자. 정의한 커널이 무슨 일을 할까? X가 landmark(𝒍)의 거리에 따른 결과값 계산 커널함수와 𝒇 𝟏의 관계를 그래프로 시각화 해보자 𝒇 𝟏 ≈ 𝐞𝐱𝐩(− 𝒙 − 𝒍 𝟏 𝟐 𝟐𝝈 𝟐 ) ≈ 𝐞𝐱𝐩(− 𝟎 𝟐𝝈 𝟐) ≈ 𝟏 거리 0 거리가 아주 가까운 경우 𝒙 ≈ 𝒍 𝟏 거리가 아주 먼 경우 𝒙 ≈ 𝒍 𝟏 𝒇 𝟏 ≈ 𝐞𝐱𝐩(− 𝒙 − 𝒍 𝟏 𝟐 𝟐𝝈 𝟐 ) ≈ 𝐞𝐱𝐩(− 𝑩𝒊𝒈 𝑵𝒖𝒎𝒃𝒆𝒓 𝟐𝝈 𝟐 ) ≈ 𝟎 𝒙 • 아래와 같은 값을 가질 경우 • X = 𝟑, 𝟓 𝒂𝒏𝒅 𝒇 𝟏 = 𝟏 • 만약 X가 (3,5) 포인트로 이동하면 à 𝒇 𝟏 = 𝟏이 된다. • 만약 X가 (3,5) 포인트에서 멀어지면 à 𝒇 𝟏 = 𝟎에 가깝게 된다 • 따라서 X가 𝒍 (landmark)과 얼마나 근접한지 계산할 수 있게된다. 𝒙(3,5) 𝒙(5,1) • X = 𝟑, 𝟓 −> 𝒇 𝟏 = 𝟏 • X = 𝟓, 𝟏 −> 𝒇 𝟏 = 𝟎. 𝟏. . • 그런데 여기서 𝝈 𝟐 은 어떤 역할을 하게 되는걸까?
- 18. Week7-2. Kernels – 𝝈 𝟐 은 어떤 역할을 하게 되나? 𝑮𝒂𝒖𝒔𝒊𝒂𝒏 𝑲𝒆𝒓𝒏𝒆𝒍의 파라미터로 landmark 주변의 기울기를 정의한다. 𝝈 𝟐 의 변화에 따른 기울기 시각화 예를 들어서 어떻게 정답을 예측하는지 보자 • 예시를 위해, 이미 알고리즘을 실행한 결과로 아래의 값을 가진다고 가정 • 𝜽 𝟎 = −𝟎. 𝟓 • 𝜽 𝟏 = 𝟏 • 𝜽 𝟐 = 𝟏 • 𝜽 𝟑 = 𝟎 • 아래와 같이 3개의 샘플이 존재 할때, 새로운 X는 어떤 값을 예측할까? • 𝜽 𝟎+𝜽 𝟏 𝒇 𝟏 + 𝜽 𝟐 𝒇 𝟐 + 𝜽 𝟑 𝒇 𝟑 ≥ 𝟎 • = −𝟎. 𝟓 + 𝟏 ∗ 𝟏 + 𝟏 ∗ 𝟎 + 𝟎 ∗ 𝟎 = 𝟎. 𝟓 ≥ 𝟎 è 1을 예측 • 왜 𝒇 𝟏 = 𝟎, 𝒇 𝟐&𝒇 𝟑 = 𝟎 일까? • à X와 가장 가까운 𝒇 𝟏은 왼쪽 그림과 같이 1 • à 𝒇 𝟐&𝒇 𝟑는 거리가 멀기 때문에 0 𝝈 𝟐 = 𝟎. 𝟓 𝝈 𝟐 = 𝟏 𝝈 𝟐 = 𝟑 • 𝝈 𝟐 이 0과 가까워 지면, 기울기(경사)가 커지면서 폭이 좁아진다. • 이렇게 정의된 조건을 이용하여, 어떤 가설을 배울 수 있을까? • 만약 학습 샘플 X가 아래의 조건을 만족하면, 정답 “1”을 예측한다. • à R𝒆𝒕𝒖𝒓𝒏 𝟏 𝒘𝒉𝒆𝒏 𝜽 𝟎 + 𝜽 𝟏 𝒇 𝟏 + 𝜽 𝟐 𝒇 𝟐 + 𝜽 𝟑 𝒇 𝟑 ≥ 𝟎
- 19. Week7-2. Kernels – 𝝈 𝟐 은 어떤 역할을 하게 되나? 최종적으로 𝝈 𝟐를 사용한 Kernel함수를 통해 비선형 boundary를 분류 가능 만약 3개의 샘플에서 멀리 떨어진 X가 있다면? 그럼 𝒍 𝟑 근처에 X가 있다면? • 예시를 위해, 이미 알고리즘을 실행한 결과로 아래의 값을 가진다고 가정 • 𝜽 𝟎 = −𝟎. 𝟓 • 𝜽 𝟏 = 𝟏 • 𝜽 𝟐 = 𝟏 • 𝜽 𝟑 = 𝟎 • 파라미터 값(𝜽 𝟏, 𝜽 𝟐, 𝜽 𝟑)이 서로 다르게 정의되어 있으므로, 이 값에 따라 예측이 다르게 됨. • 𝜽 𝟏, 𝜽 𝟐 = 𝟏 à 𝒇 𝟏, 𝒇 𝟐 값이 분류에 영향을 미침 • 𝜽 𝟑 = 𝟎 à 𝒇 𝟑 값이 영향을 주지 못함. • 𝜽 𝟎+𝜽 𝟏 𝒇 𝟏 + 𝜽 𝟐 𝒇 𝟐 + 𝜽 𝟑 𝒇 𝟑 ≥ 𝟎 • = −𝟎. 𝟓 + 𝟏 ∗ 𝟎 + 𝟏 ∗ 𝟎 + 𝟎 ∗ 𝟎 = −𝟎. 𝟓 < 𝟎 è 0을 예측 • 왜 𝒇 𝟏 = 𝟎, 𝒇 𝟐&𝒇 𝟑 = 𝟎 일까? • à X와 가장 가까운 𝒇 𝟏은 왼쪽 그림과 같이 1 • à 𝒇 𝟐&𝒇 𝟑는 거리가 멀기 때문에 0 • 𝒍𝒂𝒏𝒅𝒎𝒂𝒓𝒌와의 거리가 멀면 어떻게 예측할까? • 예시를 위해, 이미 알고리즘을 실행한 결과로 아래의 값을 가진다고 가정 • 𝜽 𝟎 = −𝟎. 𝟓 • 𝜽 𝟏 = 𝟏 • 𝜽 𝟐 = 𝟏 • 𝜽 𝟑 = 𝟎 어떻게 예측할까? • 𝜽 𝟎+𝜽 𝟏 𝒇 𝟏 + 𝜽 𝟐 𝒇 𝟐 + 𝜽 𝟑 𝒇 𝟑 ≥ 𝟎 • = −𝟎. 𝟓 + 𝟏 ∗ 𝟎 + 𝟏 ∗ 𝟎 + 𝟎 ∗ 𝟏 = −𝟎. 𝟓 < 𝟎 è 0을 예측 𝒙 • 빨강 선 안에 X가 있으면 1 예측 • 빨강 선 밖에 X가 있으면 0 예측 • è 비선형 Boundary 분류 가능!!
- 20. Week7-2. Kernels – 그런데 landmark는 어떻게 선택하지? 복잡한 문제의 경우, 많은 landmark가 필요할 수 있다. Landmark는 어떻게 선택하고, f를 계산할까? 결정된 f값을 SVM에서 어떻게 활용하는가? 1. 학습 데이터를 읽어온다. (100건) 2. 학습 데이터 별로 landmark를 생성한다. (학습데이터와 동일한 위치) • 학습데이터 1건 별로 1개의 landmark가 생성됨 • 최종 100개의 landmark 생성 3. 새로운 샘플이 주어지면, 모든 landmark와의 거리(f)를 계산한다. • 𝒇 𝟎~𝒇 𝟗𝟗 , 총 100개의 f 결과 • 𝒇 𝟎 = 𝟏 (𝜽 𝟎는 bias 값이므로, 값을 그대로 유지) • 자세히 계산과정을 보면 • 𝒇 𝟏 𝒊 , = 𝑲 𝒙𝒊 , 𝒍 𝟏 • 𝒇 𝟐 𝒊 , = 𝑲 𝒙𝒊 , 𝒍 𝟐 • …. • 𝒇 𝟗𝟗 𝒊 , = 𝑲 𝒙𝒊 , 𝒍 𝟐 • 위 과정을 반복하면, X 자신과 동일한 landmark와 비교하는 구간이 있다. à 이 경우 Gaussian Kernel에서는 1로 평가 (동일한 위치) • 이렇계 계산된 f 값을 [m(99)+1 x 1] 차원의 vector로 저장한다. • 𝒇𝒊 à f 벡터의 i 번째 데이터를 의미 X값이 vector(배열)로 구성된 경우 1. 이전에 정의했던 수식을 확인해보자 • 𝑷𝒓𝒆𝒅𝒊𝒄𝒕 𝒚 = 𝟏 • 𝒘𝒉𝒆𝒏 𝜽 𝑻 𝒇 ≥ 𝟎 • 𝑨𝒏𝒅 𝒇 = [𝒎 + 𝟏 ∗ 𝟏] 2. 그럼 𝜽는 어떻게 계산할 수 있을까? • SVM Optimization 알고리즘 이용 • 위 최적화 결과를 최소화하기 위해 f 벡터를 이용한다. • 그리고 이 최적화 알고리즘을 계산하면, 𝜽를 찾을 수 있게 된다. 3. 계산 성능 향상을 위한 Tip • 위 예시에서 m = n으로 가정 (학습 데이터와 f 벡터의 수가 같기 떄문) • 좌측방식 구현보다는 우측 방식으로 구현하는 것이 계산성능 향상 • 데이터가 많을 경우 수많은 for loop를 하지 않고, 매트릭 계산
- 21. 21 Week7-2. SVM Parameter SVM 파라미터가 미치는 영향 • C ↑, 𝝀 ↓ : Lower Bias, High Variance è Overfitting • C ↓, 𝝀 ↑ : High Bias, Lower Variance è Underfitting C 𝝈 𝟐 • 𝝈 𝟐 ↑ à 𝒇𝒊부드러운 곡선 à High Bias, Lower Variance è Underfitting • 𝝈 𝟐 ↓ à 𝒇𝒊부드러운 곡선 à Lower Bias, High Variance è Overfitting
- 22. Week7-2. Using an SVM – 커널 선택 SVM의 커널을 선택할때… Kernel을 선택하지 않으면? à Linear Kernel 1. 기본 linear classifier로 동작한다. • 𝑷𝒓𝒆𝒅𝒊𝒄𝒕 𝒚 = 𝟏 𝒘𝒉𝒆𝒏 𝜽 𝑻 𝒇 ≥ 𝟎 2. 어떤 경우에 사용할까? • Feature(n) à 크고 • Training Data (m) à 작은 경우 • 고차원 feature인 경우 Overfitting의 위험이 있다. Gausian Kernel 1. 커널에 필요한 작업들 • 𝝈 𝟐 값을 정해야 한다. • Kernel 함수 정의 : 𝒇 = 𝑲(𝒙 𝟏, 𝒙 𝟐) 2. 어떤 경우에 사용할까? • Feature(n) à 작고 • Training Data (m) à 큰 경우 (예를 들면 2차원 데이터 학습) 3. 대부분의 경우 좋은 결과를 도출함 (가장 많이 활용하는 kernel) 다른 커널들… 1. Polynomial Kernel • 입력 데이터 x와 landmark l간의 similarity를 아래 함수로 계산 • (xT l)2 • (xT l)3 • (xT l+1)3 • 공식은 : (xT l+Con)D • 파라미터 : Degree of Polynomial(D), L에 더할 상수값(Con) • 음수를 가지는 데이터가 없는 경우에 사용 2. String Kernel, Chi-square Kernel … • 소수의 문제해결에 사용하며, 많이 활용되지는 않는다.
- 23. 23 Week7-2. SVM 참고자료 • A User’s Guide to Support Vector Machines : http://www.cs.colostate.edu/~asa/pdfs/howto.pdf • https://www.cise.ufl.edu/class/cis4930sp11dtm/notes/intro_svm_new.pdf • https://nlp.stanford.edu/IR-book/html/htmledition/support-vector-machines-the-linearly-separable-case-1.html