Machine Learning para proyectos de seguridad(Pycon)
0 recomendaciones277 vistas
El documento aborda el uso de machine learning en proyectos de seguridad, explicando conceptos como aprendizaje supervisado y no supervisado, así como algoritmos aplicables para la detección de spam, fraude y anomalías. Se describen procesos para construir y evaluar modelos de machine learning, y se destacan ejemplos prácticos en la detección de intrusiones y clasificaciones de datos. Finalmente, se ofrecen recursos adicionales para profundizar en el tema.
![Entrenar nuestro modelo
● In [19]: from sklearn.tree import
DecisionTreeClassifier
● In [21]: model = DecisionTreeClassifier()
● In [22]: X_train , X_test , y_train , y_test =
train_test_split (X , y , test_size =0.2,
random_state =1)
● In [23]: model.fit (X_train ,y_train );](https://image.slidesharecdn.com/pyconesml-191007194042/85/Machine-Learning-para-proyectos-de-seguridad-Pycon-22-320.jpg)
![Evaluar nuestro modelo
● In [23]: y_pred = model.predict ( X_test )
● In [24]: accuracy_score ( y_pred , y_test )
● Out [24]: 0.9745454545454545](https://image.slidesharecdn.com/pyconesml-191007194042/85/Machine-Learning-para-proyectos-de-seguridad-Pycon-23-320.jpg)
![import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix,accuracy_score
df = pd.read_csv('payment_fraud.csv')
print(df.sample(3))
df = pd.get_dummies(df,columns=['paymentMethod'])
Y = df['label']
X = df.drop('label',axis=1)
X_train,X_test,Y_train,Y_test=train_test_split(X,Y,test_size=0.3)
clf = LogisticRegression()
clf.fit(X_train,Y_train)
Y_pred = clf.predict(X_test)
print(confusion_matrix(Y_test,Y_pred))
print("Precision",accuracy_score(Y_test,Y_test))
Detección de fraude](https://image.slidesharecdn.com/pyconesml-191007194042/85/Machine-Learning-para-proyectos-de-seguridad-Pycon-35-320.jpg)
Machine Learning para proyectos de seguridad(Pycon)
- 1. Machine learning para proyectos de seguridad José Manuel Ortega @jmortegac UA | October 4 - 6, 2019
- 2. About me
- 3. About me
- 4. Agenda ● Introducción al Machine Learning ● Algoritmos y SKLearn con python ● Casos de uso(Spam,fraude) ● Detección de anomalías ● Conclusiones y recursos
- 5. AI vs ML La inteligencia artificial es un término utilizado para describir un sistema que percibe su entorno y toma medidas para maximizar las posibilidades de lograr sus objetivos. El aprendizaje automático es un conjunto de técnicas que permiten a las computadoras realizar tareas sin ser programadas explícitamente. Los sistemas de ML generalizan a partir de datos pasados para hacer predicciones sobre datos futuros.
- 6. Tipos de ML
- 7. Tipos de ML El aprendizaje supervisado se centra en modelos que predicen las probabilidades de nuevos eventos en función de las probabilidades de eventos observados previamente. Por ejemplo: determinar si un archivo es malware o no. Los modelos de aprendizaje no supervisado intentan encontrar patrones en datos no etiquetados. Por ejemplo : determinar cuántas familias de malware existen en el conjunto de datos y qué archivos pertenecen a cada familia.
- 8. Aprendizaje supervisado Clasificación: Los algoritmos de clasificación predicen a qué categoría pertenece una entrada en función de las probabilidades aprendidas de las entradas observadas previamente. Por ejemplo: determinar si un archivo es malware o no. Regresión: los modelos de regresión (lineal, logística) predicen un valor de salida continuo para una entrada determinada en función de los valores de salida asociados con las entradas anteriores. Por ejemplo: predecir cuántas muestras de malware se detectarán el próximo mes.
- 9. Aprendizaje no supervisado Clustering:Consiste en agrupar un conjunto de objetos de tal manera que los objetos en el mismo grupo(cluster) sean más similares entre sí que con los de otros grupos Detección de anomalías
- 10. ML en seguridad
- 11. Proceso de ML
- 12. Construir un modelo ● Recopilar muestras de datos de ambas clasificaciones para entrenar el modelo de aprendizaje automático. ● Extraer características de cada ejemplo de entrenamiento para representar el ejemplo numéricamente. ● Entrenar al sistema de aprendizaje automático para identificar elementos que sigan un patrón específico. ● Probar el sistema con datos que no se utilizaron durante el entrenamiento para evaluar su precisión o accuracy.
- 15. Sklearn
- 17. Clustering
- 20. Sklearn ● El proceso consiste en: ○ Elegir el modelo. ○ Seleccionar los hiperparámetros. ○ Extraer la matriz de características y vector de predicción. ○ Ajustar el modelo a los datos (entrenamiento). ○ Predecir etiquetas para datos desconocidos.
- 21. Módulos python ● import numpy as np ● import pandas as pd ● from sklearn.model_selection import train_test_split ● from sklearn.metrics import accuracy_score , confusion_matrix
- 22. Entrenar nuestro modelo ● In [19]: from sklearn.tree import DecisionTreeClassifier ● In [21]: model = DecisionTreeClassifier() ● In [22]: X_train , X_test , y_train , y_test = train_test_split (X , y , test_size =0.2, random_state =1) ● In [23]: model.fit (X_train ,y_train );
- 23. Evaluar nuestro modelo ● In [23]: y_pred = model.predict ( X_test ) ● In [24]: accuracy_score ( y_pred , y_test ) ● Out [24]: 0.9745454545454545
- 24. Evaluar nuestro modelo ● from sklearn.metrics import confusion_matrix ● print(confusion_matrix(Y_test,Y_pred))
- 26. Métricas
- 27. Sobreentrenamiento ● Para evitar el sobreajuste se divide el dataset en dos partes: ○ Datos de entrenamiento ○ Datos de evaluación ● K-fold cross validation
- 28. Cross-validation
- 35. import pandas as pd from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import confusion_matrix,accuracy_score df = pd.read_csv('payment_fraud.csv') print(df.sample(3)) df = pd.get_dummies(df,columns=['paymentMethod']) Y = df['label'] X = df.drop('label',axis=1) X_train,X_test,Y_train,Y_test=train_test_split(X,Y,test_size=0.3) clf = LogisticRegression() clf.fit(X_train,Y_train) Y_pred = clf.predict(X_test) print(confusion_matrix(Y_test,Y_pred)) print("Precision",accuracy_score(Y_test,Y_test)) Detección de fraude
- 38. Detección de intrusiones ● La detección de intrusiones se cataloga principalmente en dos categorías: ○ Basado en reglas y heurísticas: Genera un numero reducido de falsos positivos. Detecta ataques conocidos. No funciona correctamente para la detección de nuevos ataques. ○ Basado en anomalías: Perfila el comportamiento normal del sistema. Es capaz de detectar ataques nuevos. Puede generar un numero mayor de falsos positivos.
- 39. Detección de anomalías ● ¿Cómo saber si hay una anomalía en su red? ○ Exfiltración de datos ○ Inicios de sesión atípicos ● Observar eventos anómalos es raro, por lo que los conjuntos de datos de anomalías son relativamente pequeños. ● Mejor ajuste: aprendizaje no supervisado
- 41. Distribución Gaussiana ● 1. Seleccionar características que pueden determinar que un ejemplo sea anómalo. ● 2. Ajustamos los parámetros del modelo. ○ Se calculan los parámetros para cada una de las características ● 3. Dado un nuevo ejemplo, computamos la probabilidad p(x) ● 4. Si p(x) < epsilon*, lo consideramos una anomalía
- 47. Isolation forest
- 48. Isolation forest
- 49. A-Detector: un IDS basado en anomalías
- 50. A-Detector: un IDS basado en anomalías
- 51. A-Detector: un IDS basado en anomalías
- 53. Conclusiones
- 54. Resources
- 55. Resources
- 56. Resources
- 57. Resources