[Italian] ENEA Seminar - Computational Intelligence and Energy Systems: intelligent solutions for complex problems
0 likes414 views
The document discusses computational intelligence (CI) and its applications in energy systems for addressing complex problems. It highlights the use of neural networks and evolutionary computation for modeling, forecasting, and optimization within these systems. Additionally, it explores various methodologies and projects that leverage CI to improve performance and efficiency in energy-related tasks.
![Backpropagation
[Werbos, 1974]
Forward phase: il segnale si
propaga “in avanti”
Backward phase: si calcola
l’errore e lo si propaga
“all’indietro”, modificando i pesi
Tuesday, May 31, 2011 37](https://image.slidesharecdn.com/phdpresentation-110531082852-phpapp01/85/Italian-ENEA-Seminar-Computational-Intelligence-and-Energy-Systems-intelligent-solutions-for-complex-problems-37-320.jpg)
![Ensembling
[Hansen Salomon, 1990]
Majority voting (classificazione)
Combinazione lineare
(regressione) N
1
F (x, D) = Fi (x, D)
N i=1
Tuesday, May 31, 2011 43](https://image.slidesharecdn.com/phdpresentation-110531082852-phpapp01/85/Italian-ENEA-Seminar-Computational-Intelligence-and-Energy-Systems-intelligent-solutions-for-complex-problems-43-320.jpg)
![Negative Correlation Learning
[Liu Yao, 1999]
Modifica alla funzione di
backpropagation
Penalty term λ
M
ei = (Fi (xn ) − yn )2 + λpi
n=1
Tuesday, May 31, 2011 49](https://image.slidesharecdn.com/phdpresentation-110531082852-phpapp01/85/Italian-ENEA-Seminar-Computational-Intelligence-and-Energy-Systems-intelligent-solutions-for-complex-problems-49-320.jpg)
![Regularized NCL
[Chen Yao, 2009]
NCL con Regolarizzazione
M M
1 2 1
ei = (Fi (xn ) − yn ) − (Fi (x) − F (xn ))2 +
N n=1 N n=1
T
+αi wi wi
Tuesday, May 31, 2011 50](https://image.slidesharecdn.com/phdpresentation-110531082852-phpapp01/85/Italian-ENEA-Seminar-Computational-Intelligence-and-Energy-Systems-intelligent-solutions-for-complex-problems-50-320.jpg)
[Italian] ENEA Seminar - Computational Intelligence and Energy Systems: intelligent solutions for complex problems
- 1. Computational Intelligence and Energy Systems: intelligent solutions for complex problems Matteo De Felice Unità Modellistica Energetica Ambientale UTMEA - ENEA Tuesday, May 31, 2011 1
- 2. Sommario Cos’è la Computational Intelligence (CI)? Quali sono le applicazioni della CI ai sistemi complessi? Tuesday, May 31, 2011 2
- 3. CI: paradigmi Soft NN Computing EC FS IA? SI AIS Computational Intelligence Tuesday, May 31, 2011 3
- 4. Visione d’insieme Temi NN principali EC FS SI AIS Tuesday, May 31, 2011 4
- 5. CI e letteratura 3 x 10 5 Evolutionary Computation Swarm Intelligence 4 Artificial Neural Networks 3 2 1 0 1994 1996 1998 2000 2002 2004 2006 2008 2010 year Dati dalla Thomson Reuters ISI considerando Computer Science & Technology (Gennaio 2010) Due journals sulla CI nei primi 10 in CS (IF 2009) Tuesday, May 31, 2011 5
- 6. La diffusione della CI Problemi sempre più complessi Più potenza di calcolo disponibile Tuesday, May 31, 2011 6
- 7. ma... Assenza di una teoria consolidata Frammentazione degli algoritmi Approccio poco sistematico e confronti poco “robusti” PSO APSO CPSO DPSO EPSO FPSO GPSO HPSO IPSO LPSO MPSO NPSO OPSO PPSO QPSO RPSO SPSO TPSO UPSO VPSO WPSO GA AGA BGA CGA DGA EGA FGA HGA IGA KGA LGA MGA OGA PGA QGA RGA SGA VGA ... Tuesday, May 31, 2011 7
- 8. Applicazioni Principali Reti Neurali & Logica Fuzzy 1) Modellazione & Forecasting 2) Ottimizzazione Calcolo Evolutivo Tuesday, May 31, 2011 8
- 9. Quadro generale Reti neurali evolutive con topologia a rete complessa Evolving predictive neural models for complex processes Evolving Complex Neural Networks 2008 Reti Neurali Evolutive Ensemble Artificial Neural Networks and Support Vector Machines ensembling: a comparison Tuesday, May 31, 2011 9
- 10. 2009 Ambient temperature modelling with soft computing techniques Modellazione temperature con NN Combining Back-Propagation and Genetic Algorithms to Train Neural Networks for Ambient Temperature Modeling in Italy 2010 Ottimizzazione dello start-up centrale a ciclo combinato Combining Back-Propagation and Genetic Algorithms to Train Neural Networks for Ambient Temperature Modeling in Italy Tuesday, May 31, 2011 10
- 11. Reti Neurali e Load Forecast 2011 Short-Term Load Forecasting with Neural Network Ensembles: a Comparative Study Climate Variables in Energy Modeling Tuesday, May 31, 2011 11
- 12. Altri Progetti Identificazione Reti Neurali Algoritmi Evolutivi Ottimizzazione Structural System Evolutive e Spazialmente traiettorie missioni in Ing. Sismica Applicazioni alla Strutturati interplanetarie Finanza Tuesday, May 31, 2011 12
- 13. Ottimizzazione Tuesday, May 31, 2011 13
- 14. Process Optimization Process Parameters Process Environment (X) Measurement Come migliorare la ‘performance’ di un processo tramite i suoi parametri? Tuesday, May 31, 2011 14
- 15. Ottimizzazione tradizionale Metodi Line-search and trust- region (serve l’Hessiano!) Metodi Quasi-newton (Hessiano approssimato) Metodi Derivative-free Tuesday, May 31, 2011 15
- 16. ...ma il real-world è: 1) ‘Rumoroso’ 2) Dinamico 3) Difficile da esaminare Tuesday, May 31, 2011 16
- 17. Evolutionary Computation (EC) Ottimizzazione Black-box Singolo e Multi-Obiettivo Anche funzioni discontinue e non differenziabili Meta-euristica Population-based Tuesday, May 31, 2011 17
- 18. Metaeuristica Ottimizzazione Stocastica Algoritmi usati per trovare soluzioni a problemi “difficili” Esempio: Hill-Climbing, Tabu Search, Simulated-Annealing Tuesday, May 31, 2011 18
- 19. Real-World problems Tuesday, May 31, 2011 19
- 20. Metodi di ottimizzazione DIRECT Algorithm Applications Taxonomy of Methods Yves Brise Lipschitzian Optimization, DIRECT Algorithm, and Applications Tuesday, May 31, 2011 20
- 21. Applicazione Ottimizzazione dello startup di una centrale a ciclo combinato (CCPP) Minimizzazione del tempo di avvio, consumi, emissioni e stress termico Massimizzazione della produzione di energia M. De Felice, I. Bertini, A. Pannicelli, and S. Pizzuti, "Soft Computing based optimisation of combined cycled power plant start-up operation with fitness approximation methods," Applied Soft Computing, 2011. I. Bertini, M. De Felice, F. Moretti, and S. Pizzuti, "Start-Up Optimisation of a Combined Cycle Power Plant with Multiobjective Evolutionary Algorithms," in Applications of Evolutionary Computation, 2010, pp. 151-160. Tuesday, May 31, 2011 21
- 22. Procedura 1. Definizione di un indice di performance 2. Impostazione simulatore sw 3. Algoritmo EC tramite simulatore Tuesday, May 31, 2011 22
- 23. Indice Performance F1 1 Informazioni 0.5 0 0 0.5 1 1.5 2 2.5 3 4 x 10 dagli esperti di F2 1 0.5 processo 0 0 0.5 1 1.5 F3 2 2.5 5 x 10 3 1 Knowledge 0.5 0 0 5 10 15 9 x 10 modeling con F4 1 0.5 funzioni fuzzy 0 0 5 10 15 20 25 30 F5 1 0.5 0 0 50 100 150 200 250 300 Tuesday, May 31, 2011 23
- 24. Singolo-obiettivo Algoritmo Genetico operazione di mutazione Gaussiano Funzione di fitness approssimata per velocizzare l’ottimizzazione (da 2070 a 36 ore/CPU) Tuesday, May 31, 2011 24
- 25. Risultati Tempo Prod. Stress Consumi Emissioni avvio Energia Termico Esperti 21070 143557 2.5•109 25 10 GA 16569 115070 1.86•109 18.8 78.4 Var. -25% -16% -16% -30% 2% Norm. Tuesday, May 31, 2011 25
- 26. Multi-obiettivo 12.65 12.6 12.55 Emissions (mg s / N m3) 12.5 12.45 12.4 12.35 12.3 Real NSGA 2 12.25 WSGA RAND 12.2 3.9 4 4.1 4.2 4.3 4.4 4.5 4.6 Energy Production (KJ) 9 x 10 Tuesday, May 31, 2011 26
- 27. Modellazione & Forecasting Tuesday, May 31, 2011 27
- 28. Modellazione con NNs ||F (x) − f (x)|| < , ∀x 1.2 0.6 Y Axis 0 0 1 2 3 4 5 6 6.5 -0.6 -1.2 X Axis y = sin(x) NN(x) Tuesday, May 31, 2011 28
- 29. Modellazione con NNs Disturbances Input u(k) Output y(k) System Neural Network Errore (MSE) Metodi empirici per decidere la topologia della rete Tuesday, May 31, 2011 29
- 30. Regressione con NN Si una una NN per fare regressione non-lineare Tuesday, May 31, 2011 30
- 31. Time Series Forecasting Possiamo fare una previsione dei dati futuri usando quelli osservati Altre informazioni utili (!) Tuesday, May 31, 2011 31
- 32. Approcci per le NN y(t+1) Input at Neural y(t+2) ... Direct Method time t Network y(t+N) Input at output t+1 time t Neural Network output t Iterative Method delay Tuesday, May 31, 2011 32
- 33. Short-Term Load Forecasting 60 40 kW 20 0 0 200 400 600 800 1000 1200 1400 1600 1800 2000 hours Dati Orari Obiettivo: predizione del carico fino a 24 ore Tuesday, May 31, 2011 33
- 34. Modelli Seasonal 1 0.5 0 0.5 0 10 20 30 40 50 Implementazione in R ΦP (B s )φ(B)∇D ∇d xt = α + ΘQ (B s )θ(B)et s Tuesday, May 31, 2011 34
- 35. Modello NN Campioni passati Rete Previsione Neurale Informazioni aggiuntive Tuesday, May 31, 2011 35
- 36. Rete Neurale Funzioni di attivazione f differenziabili Pesi w i Pesi w o Tuesday, May 31, 2011 36
- 37. Backpropagation [Werbos, 1974] Forward phase: il segnale si propaga “in avanti” Backward phase: si calcola l’errore e lo si propaga “all’indietro”, modificando i pesi Tuesday, May 31, 2011 37
- 38. Modello NN 36 30 y(k-1) 25 y(k) Y Axis 20 y(k+1) 15 10 0 2 4 6 8 10 12 14 16 18 20 22 24 X Axis Come scegliere i lags? Tuesday, May 31, 2011 38
- 39. Data Analysis 1. ACF 1 0.5 2. Distribution 0 0.5 0 10 20 30 40 50 3. Multivariate analysis 50 45 40 0.25 35 0.2 60 30 kW 25 0.15 50 20 0.1 15 40 10 0.05 load (kW) 5 30 0 1 5 9 13 17 21 24 hour 20 10 y = 0.0013*x2 + 0.26*x + 12 0 0 20 40 60 80 100 occupancy Tuesday, May 31, 2011 39
- 40. Domanda... Come ridurre la varianza delle reti neurali? Tuesday, May 31, 2011 40
- 41. Ensembling Tuesday, May 31, 2011 41
- 42. Ensembling 1. Calibrazione del modello usando sottoinsiemi dei dati (Bagging) 2. Uso dei dati pesato per importanza (Adaboosting) 3. Interazione e cooperazione tra gli stimatori Tuesday, May 31, 2011 42
- 43. Ensembling [Hansen Salomon, 1990] Majority voting (classificazione) Combinazione lineare (regressione) N 1 F (x, D) = Fi (x, D) N i=1 Tuesday, May 31, 2011 43
- 44. Ensembling Media Tuesday, May 31, 2011 44
- 45. Applicazioni STLF dell’edificio ENEA Casaccia (C59) Presentato al IEEE Symposium on CI Applications in Smart Grid M. De Felice and X. Yao, Neural Networks Ensembles for Short-Term Load Forecasting, in IEEE Symposium Series in Computational Intelligence 2011 (SSCI 2011), 2011 Tuesday, May 31, 2011 45
- 46. Tecniche Predittore naive: modello SARIMA (Seasonal ARIMA): ΦP (B s )φ(B)∇D ∇d xt = α + ΘQ (B s )θ(B)et s Reti Neurali (NN) NN Ensembles Tuesday, May 31, 2011 46
- 47. Metodologia 40 24 hours 35 30 kW 25 training part 20 15 10 2010 2013 2016 2019 2022 2025 2028 2031 2034 2037 2040 2043 2046 2049 2052 2055 2058 hours Dati misurati da Settembre a Novembre 2009 Training (13 settimane) e testing (una settimana divisa in T1 e T2) Tuesday, May 31, 2011 47
- 48. Misure d’errore Errore Assoluto (MAE e MSE) Error Percentuale (MAPE) Scaled Error (MASE) Tuesday, May 31, 2011 48
- 49. Negative Correlation Learning [Liu Yao, 1999] Modifica alla funzione di backpropagation Penalty term λ M ei = (Fi (xn ) − yn )2 + λpi n=1 Tuesday, May 31, 2011 49
- 50. Regularized NCL [Chen Yao, 2009] NCL con Regolarizzazione M M 1 2 1 ei = (Fi (xn ) − yn ) − (Fi (x) − F (xn ))2 + N n=1 N n=1 T +αi wi wi Tuesday, May 31, 2011 50
- 51. Errori MAE MSE 2.34 (0.79) 10.9 (17.88) NN (Media) 2.49 (1.47) 21.67 (59.29) 1.38 2.95 NN Ensemble 1.09 2.4 1.47 3.34 RNCL 1.07 2.82 2.11 7.61 Naive 2.28 6.4 1.89 5.52 SARIMA 1.24 2.17 Tuesday, May 31, 2011 51
- 52. Dati Aggiuntivi Informazioni aggiuntive: occupanti edificio, ora del giorno, giorno della settimana, giorni lavorativi. NN: input aggiuntivi SARIMA: termine lineare addizionale Tuesday, May 31, 2011 52
- 53. Dati Aggiuntivi 4 MLP Ensemble external data SARIMA external data 4 MLP Ensemble SARIMA 3 Absolute error 3 absolute error absolute 2 2 1 1 0 0 0 0 20 20 40 60 80 100 120 140 140 forecast window forecast window Forecasting window Tuesday, May 31, 2011 53
- 54. Errori – dati aggiuntivi MAE MSE 2.46 (0.83) 12.13 (16.80) NN (Media) 2.34 (1.00) 11.61 (10.61) 1.42 3.30 NN Ensemble 0.75 1.27 1.33 2.7 RNCL 0.92 1.62 2.11 7.61 Naive 2.28 6.4 1.91 5.61 SARIMA 1.20 2.07 Tuesday, May 31, 2011 54
- 55. Errori giornalieri (d) SARIMA T2 (e) M Fig. 6. Univariate approach: 24-hours ahead forecasting absolute er 8 140 140 7 120 120 6 100 100 5 80 80 4 60 60 3 40 2 40 20 1 20 1 5 9 13 17 21 24 1 5 hour of the day (a) SARIMA (b Tuesday, May 31, 2011 Fig. 7. Absolute errors (in kW) made during testing parts T1 and55T
- 56. Errori giornalieri (e) MLP Ensembling T2 hours ahead forecasting absolute errors on both T1 and T2. In light grey the area betw 8 8 140 140 7 7 120 120 6 6 100 100 5 5 80 80 4 4 60 60 3 3 2 40 2 40 1 20 1 20 21 24 1 5 9 13 17 21 24 1 5 hour of the day (b) MLP Ensembling Tuesday, May 31, 2011 56
- 57. Ensemble: altro esempio 100 80 kW 60 40 20 60 80 100 120 140 160 180 200 220 testing hours Tuesday, May 31, 2011 57
- 58. TO-DO Ensemble: usare tutte le stime per creare una pdf Ibridizzazione con metodi statistici classici: analisi multivariate, modelli stagionali, Holt-Winters Tuesday, May 31, 2011 58
- 59. The Big View Forecasting Modeling Tuesday, May 31, 2011 59
- 60. Passi principali 1. Definizione target (short-term, medium-term, seasonal) 2. Raccolta dati e analisi Statistical Analysys High-dimensionality Data Mining 3. Definizione e comparazione tecniche Time Series Methods NNs Hybrid Methods 4. Valutazione Cost Analysis Performance Measures 5. Simulazione Software Simulator Multi-Agent Systems Tuesday, May 31, 2011 60
- 61. PPSN 2012 12th International Conference on “Parallel Problem Solving From Nature”, Taormina Paper submission: 15 Marzo 2012 (Proceedings Springer) http://www.dmi.unict.it/ppsn2012/ Tuesday, May 31, 2011 61