Metodos de kernel en machine learning by MC Luis Ricardo Peña Llamas
2 recomendaciones1,099 vistas
Este documento describe los métodos de kernel en machine learning. Explica cómo los kernels permiten clasificar datos no linealmente separables mapeando los datos a un espacio de características de dimensión más alta donde son linealmente separables. También resume brevemente la historia de los kernels y define formalmente qué es una función kernel válida de acuerdo con el teorema de Mercer.
![Linealmente separables
› Dado un conjunto de datos 𝒙𝑖, 𝑦𝑖 𝑖=1
𝑁
donde 𝒙𝑖 ∈ ℝ 𝑑, 𝑦𝑖 ∈
{−1, +1}
› Decimos que son linealmente separables si existe un
hiperplano de decisión 𝑓(𝒙) definido de la siguiente
manera
𝑓 𝒙 = 𝒘 𝑇
𝒙 + 𝑤0
2
Bias
Vector de pesos
• Normalmente se utiliza una notación extendida
𝒙′ = [1, 𝒙] y 𝒘′ = [𝑤0, 𝒘]](https://image.slidesharecdn.com/metodosdekernelenmachinelearning-180303234856/85/Metodos-de-kernel-en-machine-learning-by-MC-Luis-Ricardo-Pena-Llamas-2-320.jpg)
![Ejemplos
› En un espacio euclidiano ℝ 𝑑
𝒙, 𝒚 = 𝒙 𝑇
𝒚
Otra forma de obtener el producto punto
𝒙 𝒚 cos 𝜃
Donde 𝜃 es el ángulo entre los vectores 𝒙, 𝒚
› En el espacio de las funciones reales, donde el dominio es
el intervalo [𝑎, 𝑏]
𝑓, 𝑔 =
𝑎
𝑏
𝑓 ⋅ 𝑔 𝑑𝑥
24](https://image.slidesharecdn.com/metodosdekernelenmachinelearning-180303234856/85/Metodos-de-kernel-en-machine-learning-by-MC-Luis-Ricardo-Pena-Llamas-24-320.jpg)
![Ejemplo
› Sea 𝒳 = ℝ2, es decir 𝒙 = [𝑥1, 𝑥2] y 𝒦 = ℝ3 y 𝜑 definida
como
𝝋 𝒙 𝑇 = [𝑥1
2
, 2𝑥1 𝑥2, 𝑥2
2
]
› Entonces cuando multiplicamos dos funciones con
producto interno
𝝋 𝒙 , 𝝋 𝒚 = 𝑥1
2
, 2𝑥1 𝑥2, 𝑥2
2
𝑦1
2
2𝑦1 𝑦2
𝑥2
2
28](https://image.slidesharecdn.com/metodosdekernelenmachinelearning-180303234856/85/Metodos-de-kernel-en-machine-learning-by-MC-Luis-Ricardo-Pena-Llamas-28-320.jpg)
![El truco del Kernel (Kernel Trick)
› Normalmente calcular 𝝋 𝒙 , 𝝋 𝒚 requiere de calcular 𝝋 𝒙 y
después 𝝋 𝒚 y por ultimo hacer el producto interno.
– El calculo de 𝝋 puede tardar bastante y como solo nos interesa la salida
y no los pasos intermedios.
› La idea es utilizar Kernels en lugar de utilizar 𝜑, es decir, en
lugar de utilizar
𝝋 𝒙 𝑇 = [𝑥1
2
, 2𝑥1 𝑥2, 𝑥2
2
]
› Utilizaremos el kernel 𝜅 𝒙, 𝒚 = 𝒙 𝑇
𝒚 2
, que obtenemos el
mismo resultado pero con menos cálculos, ya que:
𝝋 𝒙 , 𝝋 𝒚 = 𝑥1
2
𝑦1
2
+ 2𝑥1 𝑥2 𝑦1 𝑦2 + 𝑥2
2
𝑦2
2
= 𝒙 𝑇
𝒚 2
= 𝜅(𝒙, 𝒚)
29](https://image.slidesharecdn.com/metodosdekernelenmachinelearning-180303234856/85/Metodos-de-kernel-en-machine-learning-by-MC-Luis-Ricardo-Pena-Llamas-29-320.jpg)
Metodos de kernel en machine learning by MC Luis Ricardo Peña Llamas
- 1. Métodos de Kernel en Machine Learning MC Luis Ricardo Peña Llamas
- 2. Linealmente separables › Dado un conjunto de datos 𝒙𝑖, 𝑦𝑖 𝑖=1 𝑁 donde 𝒙𝑖 ∈ ℝ 𝑑, 𝑦𝑖 ∈ {−1, +1} › Decimos que son linealmente separables si existe un hiperplano de decisión 𝑓(𝒙) definido de la siguiente manera 𝑓 𝒙 = 𝒘 𝑇 𝒙 + 𝑤0 2 Bias Vector de pesos • Normalmente se utiliza una notación extendida 𝒙′ = [1, 𝒙] y 𝒘′ = [𝑤0, 𝒘]
- 3. ¿Cómo se ve en cuando 𝑑 = 1? 3
- 4. ¿Cómo se ve cuando 𝑑 = 2? 4
- 5. ¿Cómo se ve en 3 dimensiones? 5
- 6. En general › En general un hiperplano parte en 2 al espacio (llamados semiespacios abiertos) de la siguiente manera: – Si 𝒘 𝑇 𝒙 > 0 pertenece al semiespacio 1 – Si 𝒘 𝑇 𝒙 < 0 pertenece al semiespacio 2 › ¿Qué pasa cuando 𝒘 𝑇 𝒙 = 0? – Todos los puntos 𝒙 que cumplen con esta propiedad pertenecen al hiperplano. 6
- 7. Dos clases no linealmente separables MC Luis Ricardo Peña Llamas
- 8. Clases no linealmente separables 8
- 9. ¿Clases correctamente clasificadas? 9 Zona de error
- 10. ¿Clases correctamente clasificadas? 10 Zona de error
- 11. Entonces, ¿No se puede utilizar un clasificador lineal para clasificar dichas tareas? › Si se puede utilizar un clasificador lineal para dicha tarea › Es necesario no pensar en términos del espacio de entrada ℝ 𝑑, si no utilizar una función 𝜑: ℝ 𝑑 → 𝒦 – En general 𝜑: 𝒳 → 𝒦, donde 𝒳 es el espacio de entrada y 𝒦 es el espacio de características. 11
- 12. Clasificación no lineal › En lugar de utilizar el conjunto de datos 𝒙𝑖, 𝑦𝑖 𝑖=1 𝑁 utilizaremos 𝜑(𝒙𝑖), 𝑦𝑖 𝑖=1 𝑁 , donde la función 𝜑 es diferente de la identidad. › Ahora, nuestra función hipótesis es la siguiente: 𝑓 𝒙 = 𝒘 𝑇 𝜑(𝒙) + 𝑤0 › Donde posiblemente la clasificación o regresión sea más fácil 12
- 13. Ahora son linealmente separables en 3 dimensiones 13 Hiperplano Hiperplano
- 15. Breve historia de los métodos de Kernel MC Luis Ricardo Peña Llamas
- 16. Historia de los Kernels › 1962 Parzen publica un articulo en el cual utiliza la representación de puntos por medio del producto interno entre ellos – Extraction and Detection Problems and Reproducing Kernel Hilbert Spaces › 1964 Vapnik y Chervonenkis publican el algoritmo que se utiliza en los SVM › 1974 Nace el campo de “statistical Learning theory” con Vapnik › 1979 Comienza el desarrollo de SVM › 1992 Boser, Guyon y Vapnik publican los SVM con Kernels › 1995 Cortes y Vapnik publican los SVM con margenes suaves. 16
- 17. Vladimir Vapnik › Matemático Ruso › Actualmente es profesor en Columbia University (New York) 17
- 18. Alexey Chervonenkis › Matemático ruso › Falleció en el año 2014 en Rusia 18
- 19. Bernhard Boser 19 › Nació en Suiza › Actualmente es profesor de Berkeley › Es esposo de Isabelle Guyon
- 20. Isabelle Guyon › Nació en Francia › Actualmente es profesora Paris-Saclay University, – ChaLearn dedicada a organizar retos en Machine Learning › Esposa de Bernhard Boser 20
- 21. Corina Cortes › Nació en Dinamarca › Actualmente es investigadora en Google Research 21
- 22. Producto interno MC Luis Ricardo Peña Llamas
- 23. Producto interno › El producto interno, definido en un espacio vectorial, es la forma de multiplicar dos vectores y el resultado sea un escalar. › Sean 𝑢, 𝑣 y 𝑤 vectores y 𝛼 un escalar, entonces 1. 𝑢 + 𝑣, 𝑤 = 𝑢, 𝑤 + 〈𝑣, 𝑤〉 2. 𝛼𝑣, 𝑤 = 𝛼〈𝑣, 𝑤〉 3. 𝑣, 𝑤 = 〈𝑤, 𝑣〉 4. 𝑣, 𝑣 ≥ 0 1. 𝑣, 𝑣 = 0 ⟺ 𝑣 = 0 23
- 24. Ejemplos › En un espacio euclidiano ℝ 𝑑 𝒙, 𝒚 = 𝒙 𝑇 𝒚 Otra forma de obtener el producto punto 𝒙 𝒚 cos 𝜃 Donde 𝜃 es el ángulo entre los vectores 𝒙, 𝒚 › En el espacio de las funciones reales, donde el dominio es el intervalo [𝑎, 𝑏] 𝑓, 𝑔 = 𝑎 𝑏 𝑓 ⋅ 𝑔 𝑑𝑥 24
- 25. Producto interno como proyección › Cuando hacemos la operación 𝒙 𝑇 𝒚 en realidad estamos tomando la proyección de 𝒚 en 𝒙. 𝑦1 = 𝒚 𝑻 𝒙 𝒙 25 Vector unitario
- 26. Kernel MC Luis Ricardo Peña Llamas
- 27. Definición de Kernel › Suponga que tiene una función 𝜑: 𝒳 → 𝒦, entonces una función kernel 𝜅: 𝒳 × 𝒳 → ℝ 𝜅 𝒙𝑖, 𝒙𝑗 = 〈𝝋 𝒙𝑖 , 𝝋 𝒙𝑗 〉 – Para todo 𝒙𝑖, 𝒙𝑗 ∈ 𝒳 27 Producto interno
- 28. Ejemplo › Sea 𝒳 = ℝ2, es decir 𝒙 = [𝑥1, 𝑥2] y 𝒦 = ℝ3 y 𝜑 definida como 𝝋 𝒙 𝑇 = [𝑥1 2 , 2𝑥1 𝑥2, 𝑥2 2 ] › Entonces cuando multiplicamos dos funciones con producto interno 𝝋 𝒙 , 𝝋 𝒚 = 𝑥1 2 , 2𝑥1 𝑥2, 𝑥2 2 𝑦1 2 2𝑦1 𝑦2 𝑥2 2 28
- 29. El truco del Kernel (Kernel Trick) › Normalmente calcular 𝝋 𝒙 , 𝝋 𝒚 requiere de calcular 𝝋 𝒙 y después 𝝋 𝒚 y por ultimo hacer el producto interno. – El calculo de 𝝋 puede tardar bastante y como solo nos interesa la salida y no los pasos intermedios. › La idea es utilizar Kernels en lugar de utilizar 𝜑, es decir, en lugar de utilizar 𝝋 𝒙 𝑇 = [𝑥1 2 , 2𝑥1 𝑥2, 𝑥2 2 ] › Utilizaremos el kernel 𝜅 𝒙, 𝒚 = 𝒙 𝑇 𝒚 2 , que obtenemos el mismo resultado pero con menos cálculos, ya que: 𝝋 𝒙 , 𝝋 𝒚 = 𝑥1 2 𝑦1 2 + 2𝑥1 𝑥2 𝑦1 𝑦2 + 𝑥2 2 𝑦2 2 = 𝒙 𝑇 𝒚 2 = 𝜅(𝒙, 𝒚) 29
- 30. ¿Por qué es una ventaja? › En este caso en particular por el simple hecho de calcular 2, el cual es un número irracional, por lo tanto tiene un número infinito de decimales › Pero si calculamos el producto interno y el resultado lo elevamos al cuadrado, es más rápido de calcular. 30
- 31. Teorema de Mercer MC Luis Ricardo Peña Llamas
- 32. Función Kernel valida › Una función kernel valida es básicamente: – Una función simétrica 𝑓 𝒙, 𝒚 = 𝑓(𝒚, 𝒙) – Una función positiva semidefinida: 𝑖=1 𝑚 𝑗 𝑚 𝑐𝑖 𝑐𝑗 𝑓(𝒙𝑖, 𝒙𝑗) ≥ 0 – Para 𝒙1, 𝒙2, … , 𝒙 𝑚 ∈ 𝑎, 𝑏 y cualesquiera 𝑐1, 𝑐2, … , 𝑐 𝑚 ∈ ℝ (si lo viéramos en una dimensión 32
- 33. Teorema de Mercer › Una función simétrica 𝜅: 𝒳 × 𝒳 es positiva semidefinida si 𝒳 𝒳 𝜅 𝑥, 𝑦 𝑓 𝑥 𝑓 𝑦 𝑑𝑥 𝑑𝑦 ≥ 0 › Para todo 𝑓 ∈ 𝐿2(𝒳) › Además sus eigenvalores y eigenfunciones convergen al kernel, es decir 𝜅 𝑥, 𝑦 = 𝑖 ∞ 𝜆𝑖 𝜓𝑖 𝒙 𝜓𝑖(𝒚) – Donde 𝜆𝑖 es un eigenvalor y 𝜓𝑖 es la eigenfunción asociada – Para todo 𝒙, 𝒚 ∈ 𝒳 33
- 34. Ejemplo de funciones kernel MC Luis Ricardo Peña Llamas
- 35. ¿Cuántas funciones existen? › En realidad no conocemos el limite de las funciones, por lo que son muchísimas funciones, por eso solo se dan algunos Kernels validos 35
- 36. Algunos ejemplos de kernels Nombre del kernel Función Lineal 𝑥 𝑇 𝑦 + 𝐶 Polinomial 𝑥 𝑇 𝑦 + 𝐶 𝑝 Gaussiano 𝑒−𝛾 𝑥−𝑦 2 Circular 0 𝑠𝑖 𝑥 − 𝑦 > 𝜎 2 𝜋 arccos − 𝑥 − 𝑦 𝜎 − 𝑥 − 𝑦 𝜎 1 − − 𝑥 − 𝑦 𝜎 2 𝑠𝑖 𝑛𝑜 Mahalanobis 𝑒− 𝑥−𝑦 𝛴(𝑥−𝑦) , Σ = 𝑑𝑖𝑎𝑔 𝜎1 −1 , … , 𝜎 𝑑 −1 , 𝜎𝑖 ∈ ℝ+ 36
- 37. Support Vector Machines (SVM) MC Luis Ricardo Peña Llamas
- 38. 38
- 40. Idea central de SVM 40 Vectoresdesoporte Vectoresdesoporte
- 41. Supongamos que tenemos un vector 𝒘 perpendicular al hiperplano optimo 41
- 42. ¿Cómo clasificar un nuevo vector? 42 𝑪
- 43. ¿Cómo clasificar un nuevo elemento? 43 𝑤 𝑇 𝑥 ≥ C
- 44. ¿Cómo clasificar un nuevo elemento? 44 𝑤 𝑇 𝑥 ≥ C
- 45. ¿Cómo clasificar un nuevo elemento? › Si queremos conocer a clase pertenece ese nuevo vector, lo haremos con la siguiente regla de decisión: 𝑓 𝒙 = +1 𝑠𝑖 𝒘 𝑇 𝒙 + 𝑏 ≥ 0 −1 𝑠𝑖 𝒘 𝑇 𝒙 + 𝑏 < 0 › Si 𝑦𝑖 ∈ {−1, +1} (dependiendo a que clase que clase pertenece 𝑦𝑖 𝑤 𝑇 𝒙𝑖 + 𝑏 ≥ 1 – Para todo 𝒙𝑖 𝑦𝑖 𝑤 𝑇 𝒙𝑖 + 𝑏 − 1 ≥ 0 45
- 46. Utilizando las muestras de soporte 𝑦𝑖 𝑤 𝑇 𝒙𝑖 + 𝑏 − 1 = 0 – Para todo 𝒙𝑖 que sea vector de soporte 46
- 47. Maximizando la anchura del margen 47
- 48. Maximizando la anchura de la calle › 𝒙+ ⟹ 𝑦+ = +1 › 𝒙− ⟹ 𝑦− = −1 › Tenemos el vector (𝒙+ − 𝒙−), ahora encontramos la anchura multiplicando por un vector unitario 𝒙+ − 𝒙− 𝑇 𝒘 𝒘 = 1 𝒘 (𝒙+ 𝑇 𝒘 − 𝒙− 𝑇 𝒘) = 2 𝒘 › Objetivo: max 1 𝒘 = min 1 2 𝑤 2 48
- 49. Modelo de optimización min 1 2 𝑤 2 Sujeto a: 𝑦𝑖 𝒘 𝑇 𝒙𝑖 + 𝑏 − 1 ≥ 0, 𝑖 = 1,2, … , 𝑁 49
- 50. Langraniano ℒ = 1 2 𝒘 − 𝑖=1 𝑁 𝛼𝑖 𝑦𝑖 𝒘 𝑇 𝒙𝑖 + 𝑏 − 1 › Por lo tanto 𝑤 optimo esta dado por: 𝑤 = 𝑖=1 𝑁 𝛼𝑖 𝑦𝑖 𝒙𝑖 50
- 51. Quiere decir que 𝒘 𝑇 𝒙 = 𝑖=1 𝑁 𝛼𝑖 𝑦𝑖 𝒙𝑖 𝑇 𝒙 = 𝑖=1 𝑁 𝛼𝑖 𝑦𝑖〈𝒙𝑖, 𝒙〉 𝒘 𝑇 𝒙 = 𝑖=1 𝑁 𝛼𝑖 𝑦𝑖 𝜅(𝒙𝑖, 𝒙) 51 Truco kernel
- 52. Nueva regla de decisión 𝑓 𝒙 = +1 𝑠𝑖 𝑖=1 𝑁 𝛼𝑖 𝑦𝑖 𝜅(𝒙𝑖, 𝒙) + 𝑏 ≥ 0 −1 𝑠𝑖 𝑖=1 𝑁 𝛼𝑖 𝑦𝑖 𝜅(𝒙𝑖, 𝒙) + 𝑏 < 0 52
- 53. ¿Cuál Kernel es mejor para mis datos? › Actualmente es un problema abierto y no sabemos con certeza si exista respuesta a esta pregunta. › Normalmente, tomamos varios Kernels y hacemos cross- validation para seleccionar el mejor de ellos. 53
- 54. No solo los SVM utilizan Kernels › Hay un teorema (Representer theorem) Probado por Schölkopf (en el 2001) con el cual cualquier problema que tenga una función de costo y una de castigo: min 𝑓∈ℋ { 𝑖 𝑁 ℒ 𝑓 𝒙𝑖 , 𝑦𝑖 + 𝜆Ω 𝑓 2 } › Se puede representar como 𝑓 𝒙 = 𝑖=1 𝑁 𝛼𝑖 𝜅(𝒙𝑖, 𝒙) , 𝛼𝑖 ∈ ℝ 54