AV_slides
- 1. Echo State Network per la Classificazione di Interazioni Sociali in Ambienti Domestici Andrea Valenti Unversità di Pisa – Dipartimento di Informatica Corso di Laurea in Informatica
- 2. Contenuti Parte 1: Reti Neurali Ricorrenti. Parte 2: Alcuni Modelli. Parte 3: Studio di un Caso Reale.
- 4. Reti Neurali Ricorrenti Definizione: «Le Reti Neurali Ricorrenti (RNN) sono una classe di reti neurali in cui il grafo delle connessioni tra i neuroni contiene almeno un ciclo diretto». Sono in grado di tenere conto del contesto temporale dell’input. Particolarmente adatte per processare tipi di dato strutturati temporalmente.
- 5. Algoritmi di Apprendimento Due principali modalità di addestramento: Addestramento per epoche. Addestramento continuo. Algoritmi più utilizzati: Backpropagation Through Time. Real Time Recurrent Learning.
- 6. Problematiche Elevata complessità computazionale. Lenta convergenza. Funzione dell’errore generalmente non convessa. Problema del vanishing gradient.
- 7. Reservoir Computing Idea di base: separazione tra parte ricorrente (reservoir) e parte non ricorrente (readout) della rete. Il reservoir, dopo l’inizializzazione, non viene più modificato. Molto efficiente, permette di evitare i problemi degli algoritmi a discesa del gradiente.
- 9. Input Delay Neural Network (IDNN)
- 10. Simple Recurrent Network (SRN)
- 11. Nonlinear AutoRegressive with eXogenous Inputs Network (NARX)
- 12. Echo State Network (ESN)
- 13. ESN: Iperparametri : raggio spettrale di . condizione necessaria per garantire un corretto funzionamento del reservoir (Echo State Property). : fattore di scaling di . Determina il grado di nonlinearità del reservoir. : leaky parameter. Controlla la veocità delle dinamiche del reservoir.
- 14. Studio di un Caso Reale
- 15. È un progetto europeo atto a sviluppare soluzioni per estendere la capacità funzionale e cognitiva delle persone anziane attraverso il monitoraggio non intrusivo ed il potenziamento delle loro attività quotidiane. Il compito del team dell'Università di Pisa è quello di sviluppare un sistema context-aware per l'activity recognition.
- 17. Descrizione degli Esperimenti Si sono indagati i seguenti aspetti: Variazione delle performance al variare degli iperparametri, in particolare il numero dei neuroni del reservoir. Variazione delle performance al variare del numero e tipologia di sensori in input.
- 18. Risultati RESn TR VAL TS 100 0,904± (0,139) 0,899± (0,139) 0,902± (0,133) 500 0,917± (0,118) 0,895± (0,122) 0,903± (0,117) 1000 0,926± (0,100) 0,892± (0,115) 0,901± (0,113) 2000 0,935± (0,085) 0,889± (0,110) 0,897± (0,113) Task TR VAL TS entering (8 sensors) 0.917±(0.119) 0.895±(0.125) 0.902±(0.120) leaving (8 sensors) 0.911±(0.122) 0.889±(0.132) 0.890±(0.128) entering (5 sensors) 0.920±(0.111) 0.898±(0.122) 0.905±(0.119) leaving (5 sensors) 0.913±(0.121) 0.892±(0.133) 0.894±(0.131) entering (3 sensors) 0.916±(0.120) 0.900±(0.127) 0.908±(0.122) leaving (3 sensors) 0.908±(0.128) 0.891±(0.136) 0.891±(0.133) Risultati ottenuti mediante double cross-fold validation con 3 fold esterne, 3 fold interne. = 0.9, = 0.5, = 0.5
- 19. Risultati
- 20. Conclusioni È stata presentata la classe di modelli delle RNN. Una ESN è stata studiata per un’applicazione di activity recognition. Risultati migliorabili, ma promettenti.