From cnn to capsule_Matteo_Alberti
Download as PPTX, PDF0 likes79 views
Il documento discute l'evoluzione delle reti neurali, dall'architettura del percettrone a reti neurali convoluzionali (CNN) e capsule. Viene evidenziato come le CNN superino i limiti delle reti fully connected nella gestione delle immagini, introducendo filtri e pooling, mentre le capsule presentano un'innovativa struttura che conserva relazioni spaziali e variabilità delle caratteristiche. Si conclude con un confronto tra l'accuratezza delle CNN e delle capsule su set di dati, suggerendo che queste ultime offrono robustezza e una minore quantità di dati necessaria per l'addestramento.
From cnn to capsule_Matteo_Alberti
- 1. From CNN to Capsules Speaker: Matteo Alberti Community Machine Learning@ DeepLearningItalia E-mail: m.alberti12@campus.unimib.it
- 2. Dal Percettrone alle architetture multistrato (MLP) 𝑎𝑖 = 𝑓( 𝑖 𝑤𝑖 𝑥𝑖 + 𝑏𝑖) “Separatore non lineare del piano” 𝑓 𝑥 funzione di attivazione non lineare senza 𝑓 𝑥 la nostra ANN si reduce ad un separatore lineare: 𝐿 𝑇 = 𝑊𝑇 𝐿 𝑇−1 = 𝑊𝑇 𝑊𝑇−1 𝐿 𝑇−2 = ⋯ 𝑊𝑇 𝑊𝑇−1. . . 𝑊1 𝐿0 = 𝑊𝐿0 Un singolo neurone non è capace di approssimare bene alcune decision function non lineari Possiamo però modellizzare strutture di neuroni connessi fra loro. L’output di un layer diventa l’input di quello sucessivo
- 3. Funzioni di attivazione Esistono molte funzioni di attivazioni Nelle reti neurali profonde è utile aver funzioni di attivazioni “leggere” Sigmoide: 𝑦 = 𝜎 𝑥 = 1/(1 + ⅇ−𝑥 ) è un caso particolare di una funzione logistica Al crescere della profondità da problem con l’aggiornamento dei pesi Rectified Linear Unit (ReLu): 𝑦 = max(0, 𝑥) Accellera la convergenza dell’aggioranmento dei pesi
- 4. Reti Neurali Convoluzionali (CNN) Nelle fully connected netwoks (MLP) ogni neurone è connesso ad ogni neurone del layer precedente. MLP non scala bene con immagini (memoria e computazione) CNN connette solo una piccolo parte di neuroni e ne condivide i pesi
- 5. Layer convoluzionale Un layer convoluzionale consiste in un insieme di filtri di apprendimento Ogni filtro è piccolo lungo altezza e larghezza ma esteso nella prodonfità Durante la forward propagation si trasla ciascun filtro lungo la larghezza e l’altezza del volume di input.
- 6. Layer convoluzionale Viene Prodotta un’activation map bidimensionale per quel filtro. Man mano che si sposta il filtro lungo l’area dell’input, si effettua un prodotto scalare fra i valori del filtro e quelli della porzione di input L’accodamento di tutte queste activation map, per tutti i filtri, lungo la dimensione della profondità forma il volume di output di un layer convoluzionale Qui sotto è riportato l’output di un layer convolutionale
- 7. Operatore di pooling Pooling layer può essere applicato dopo un layer convoluzionale Serve per ridurre progressivamente la dimensione spaziale e di conseguenza il numero di parametric Esistono differenti versione il Pooling, il principale è il max-pooling
- 8. Allenamento dei pesi L’allenamento dei pesi in una rete CNN avviene in due fasi: Forward Propagation Le funzioni di attivazioni vengono attivate da sinistra a destra Consiste in una somma peseta dei dati di input I pesi non vengono modificati BackPropagation: L’obiettivo è di ottimizzare i pesi attraverso un aggiornamento Riceve in input l’output prodotto dal forward pass e calcola per ogni layer 𝛿𝑖 𝑙 = ( 𝑗=1 𝑙+1 𝜃𝑗𝑖 𝑙 𝛿𝑗 𝑙+1 ) 𝑔′ ( 𝑗=1 𝑙−1 𝜃𝑖𝑗 𝑙−1 ℎ𝑗 𝑙−1 + 𝑏𝑖 𝑙−1 ) E le relative derivate parziali: ∆𝜃𝑖𝑗 𝑗 = ℎ𝑗 𝑙 𝛿𝑖 𝑙+1 ∆𝑏𝑖 𝑙 = 𝛿𝑖 𝑙+1
- 9. Architetture di Reti Neurali Profonde LeNet: consiste in una sequenza di 3 layer: 1990 3 conv layer ((3,3) con ReLu activation) seguito da Max-pooling (2,2) 2 Fully Connected Layer (sigmoide) AlexNet: sequenza di 8 layer: 2012 Convolutional layer (96 filters, stride=4, ReLu) 4 x Max-pooling (2x2) + Layer Convolutivo (5x5) 3 X FC fino a quando il vettore di input ha la stessa dimensione del numero di classi GoogLeNet: aumento sia della profondità che della larghezza 2014 Funzione di concatenamento dei layer (convoluzioni 1x1, 3x3, 5x5) Inception module per la riduzione del numero di parametri
- 10. Reti Neurali Profonde Residuali Rete estremamente profonda Risoluzione parziale al problema del gradiente Sfrutta il concetto di residual learning: Sottopone l’input x alla sequenza di convoluzioni ottenendo F(x) e di sommare al risultato lo stesso x, ottenendo: H(x) = F(x) + x Vengono concatenati più blocchi di questo tipo che imparano non da una trasformazione diretta ma da F(x), minimizzando l’errore residuale.
- 11. L’utilizzo del Max-Pooling ed il problema con le CNN Max-pooling ci permette di ridurre la dimensionalità spaziale Ci permette inoltre un’Invarianza a «leggere rototraslazioni» Ma CNN tendono ad imparare mnemonicamente Necessità di forte data augmentation
- 12. L’utilizzo del Max-Pooling ed il problema con le CNN Inoltre aumentando il grado di astrazione e complessità delle figure andiamo a perdere la gerarchia delle parti perdendo le informazioni spaziali delle features estratte
- 13. L’intuizione Rendering Inverso: “Dalle informazioni visive, l’immagine viene decostruita in base ad una rappresentazione gerarchica cercando farle combaciare con le combinazioni di features già memorizzate” La Freccia viene memorizzata come combinazione delle figure geometriche interne e della loro relativo posizione spaziale
- 14. Architettura Architettura shallow (2 strati nascosti) Le innovazioni in questa struttura sono Le Capsule: Un gruppo di neuroni Strato Convolutionale per estrarre features di basso livello PrimaryCaps: Ogni capsula rappresenta una features Racchiundono informazioni realtivi all’immagine
- 15. Una struttura Capsulare I neuroni artificiali producono un singolo scalare Una capsula produce invece racchiude tutte le informazioni rilevanti in un vettore dove: La lunghezza del vettore codifica la probabilità del rilevamento di una caratteristica Lo stato della caratteristica (rotazione, traslazione) viene codificata con la direzione del vettore stesso Questa proprietà la definiremo ‘equivarianza’
- 16. Funzione di attivazione: " Squash" 𝑣𝑗 = 𝑠 𝑗 2 1+ 𝑠 𝑗 2 𝑠 𝑗 𝑠 𝑗 Andiamo ad agire unicamente sulla norma. Vj viene compresso fra 0 ed 1 𝑠 𝑗 𝑠 𝑗 è il versore (conserva la direzione) 𝑠 𝑗 2 1+ 𝑠 𝑗 2 Ridimensiona il vettore di input in modo che abbia compresa fra 0 ed 1
- 17. Dynamic Routing – forward pass 1) Capsule a livello l ed il loro output 𝑢 𝑗 𝑖, r numero di iterazioni del routing 2) 𝑏𝑖𝑗 coefficiente temporaneo necessario per iterazione inizializzato a zero 4) 𝑐𝑖 è peso per capsule di «basso livello», utilizzo del softmax per ottenere uno scalare non negativo con somma ad uno. Prima iterazione 𝑐𝑖𝑗 è uguale per tutte le capsule essendo inizializzato da 𝑏𝑖𝑗
- 18. Dynamic Routing – forward pass
- 19. Dynamic Routing – forward pass 5) Per ogni capsula di «alto livello» calcoliamo una combinazione lineare dei dati di input pesati con i coefficienti 𝑐𝑖𝑗 ossia andiamo a sommarli e ridimensionarli 6) Applichiamo la funzione di squash per «normalizzare» ad 1 e preservar l’orientamento del vettore
- 20. Dynamic Routing – forward pass
- 21. EM Routing – Expected Maximization Finire le figure
- 22. Allenamento delle CapsNet Una volta fissato il passo forward Alleno i pesi 𝑤𝑖𝑗 con la back-propagation in modo da massimizzare la norma della capsula relativa alla classe di target ( 𝐿 𝜇 𝑖 ) Un’altra versione della rete utilizza un’MLP (come Autoencoding) al fine di ricostruire l’immagine di input 𝐿 𝑝 𝑖 Loss Funcion 𝐿 𝑖 = 𝐿 𝜇 𝑖 + p 𝐿 𝑝 𝑖
- 23. Accuratezze su MNIST Parametri CNN : 35.4 M (Deep) Parametri Capsnet (8.2 M) Robustezza alle Trasformazioni Affini: CNN 66% CapsuleNet 79%
- 24. Pro Necessitano una quantità di dati inferiore dei corrispettivi modelli La struttura Capsulare permette una gerarchia delle parti Risulta robusta alle trasformazioni affini Alta capacità discriminatoria su oggetti sovrapposti
- 25. Contro Ancora in fase di studio, non perfermanti su large datasets Il processo di routing-by-agreement rallenta di molto la fase di training aumentando in maniera esponenziale il numero di parametri