Perché è così difficile il deploy dei database - DevCast DevOps Serie
Download as PPTX, PDF0 likes113 views
Il documento discute le difficoltà del deploy dei database, evidenziando i conflitti tra i paradigmi di migrazione e stato. Viene presentato un ciclo di refactoring del database e degli strumenti utili per il testing e la gestione del deployment. Infine, si sottolinea l'importanza della disciplina e della preparazione nello sviluppo di database.
Perché è così difficile il deploy dei database - DevCast DevOps Serie
- 1. Perché è così difficile il deploy dei database? Giulio Vian Senior DevOps Engineer, Unum
- 2. I problemi Sovrapposizione Campionatura Distacco © Lauren Knipp
- 3. DBA Senior Dev Scrum Master Junior Dev In a Start-up far far away
- 4. Gratis! Troppo bello per esser vero • gratis • open source • tutti i DB! • ed è pure usato • e funziona!
- 5. Passano I mesi fino ad un certo venerdì
- 7. Colpiamo il nemico con dacpac con Doctrine Migrations con …
- 9. La legge di Murphy Non ha eccezioni
- 10. Hardware spec: 1 KB RAM (16KB after upgrade) 4 KB ROM (8KB after upgrade) First computer Past Companies Communities Giulio Vian Senior DevOps Engineer @giulio_vian giuliovdev@hotmail.com
- 11. Agenda Paradigmi cambiamento Test Automatizzati Tecniche per il Deploy
- 12. Paradigmi
- 15. Script di migrazione independentI Conflitto?
- 17. Diff script from schema-based tool uh oh
- 18. Migration based v1 v2 Non rileva conflitti L’ordine è cruciale State based v1 v2 Non riconosce i rename Azzera eventuali differenze I due paradigmi
- 19. Migration based v1 v2 State based v1 v2 Cosa usare
- 20. Migration based v1 v2 Tante versioni in esercizio • On-premises • Clients State based v1 v2 Una sola versione in produzione • On-line services I due paradigmi
- 21. Test
- 22. Unit testing tSQLt Open source database Unit Testing framework for SQL Server https://tsqlt.org/ DbUnit JUnit extension http://www.dbunit.org/ NDbUnit2 .NET library for managing database state during unit testing https://github.com/savornicesei/NDbUnit 2 DbFit Fitness style (Java+Jdbc) http://dbfit.github.io/dbfit/ Respawn Intelligent database cleaner for integration tests https://github.com/jbogard/Respawn
- 23. Reset del Database Containers Virtual Machines Volume Snapshots Database Snapshots
- 24. Dati RealisticI Dimensioni Requisiti di riservatezza (PII) Pre-trattamento Masking / Substitution / Encryption / Shuffling / Generation Spazio occupato
- 25. Conseguenze Problemi tecnici Durata del Deployment Performance delle query Problemi commerciali e legali Abuso di informazioni
- 26. Deploy
- 27. Database Refactoring Cycle Initial state Final state Implement the refactoring Test on non-production Refactoring completed deploy new schema, migrate data deploy new application version
- 28. Forward change Tempo di migrazione dei dati
- 29. Database Refactoring Cycle Initial state Final state Implement the refactoring Test on non-production Refactoring completed deploy new schema, migrate data deploy new application version
- 30. Rollback Perdita di dati contenuti nelle nuove strutture
- 31. Database Refactoring Cycle Initial state Final state Transitional state Implement the refactoring Test on non-production Refactoring completed All systems use the new schema Coexistence of old and new schema Expand: deploy new schema, migrate data, add scaffolding code Contract: Drop old schema objects and scaffolding code
- 32. Elementi Chiave In input solo sorgenti Pacchetti (es. dacpac) vanno in un Artifact Store e devono essere il risultato di una build Istanze di database per la build Ad ogni Branch la sua Istanza Gestione delle credenziali
- 33. Riassumendo
- 35. La morale Nessun tool ti può salvare Studiare è l’unico modo di prevenire problemi Disciplina, tanta disciplina
- 36. Strumenti Open source Liquibase Flyway dbup gitSQL DbPatch dbdeploy.net OnlineSchemaChange Prodotti SQL Server Data Tools (SSDT) RedGate SQL Compare devart
- 37. Bibliografia: Articoli Schema migration Evolutionary Database Design 100% Online Deployments Blue-Turquoise-Green Deployment ALTER MySQL tables without locking them Automated blue/green database deployments Blue-Green Deployment on AWS with Database Synchronisation
- 38. Bibliografia: Libri Refactoring Databases: Evolutionary Database Design http://www.agiledata.org/
- 39. Grazie e attendo le vostre domande Giulio Vian Senior DevOps Engineer, Unum Il contenuto della presentazione ha carattere didattico. Ogni sforzo è stato fatto per risalire agli autori delle immagini impiegate. In caso di errori od omissioni, vi chiediamo di segnalarli per procedere alle correzioni.
Editor's Notes
- #11: 10,000+ employees (1,000+ in IT) ~$12 billion Revenue
- #14: Source https://www.red-gate.com/hub/product-learning/sql-source-control/moving-from-application-automation-to-true-devops-by-including-the-database
- #15: Source http://workingwithdevs.com/delivering-databases-migrations-vs-state/
- #16: Source http://workingwithdevs.com/delivering-databases-migrations-vs-state/
- #17: Source https://www.red-gate.com/hub/product-learning/sql-source-control/moving-from-application-automation-to-true-devops-by-including-the-database
- #18: Source http://workingwithdevs.com/delivering-databases-migrations-vs-state/
- #25: General Data Protection Regulation California Consumer Privacy Act …
- #36: Giovanni Francesco Barbieri detto il Guercino (1591-1666) Atlante che sostiene il globo celeste, 1646 Firenze, Museo Mozzi Bardini, inv. MCF-MB 1922-1148.a Il mito del titano Atlante condannato da Zeus a sorreggere la volta celeste per l’eternità ebbe notevole fortuna iconografica nel corso del Seicento. Tra le opere più famose è questa versione, dipinta per Lorenzo de’ Medici.
- #38: https://github.com/facebookincubator/OnlineSchemaChange https://www.percona.com/doc/percona-toolkit/3.0/pt-online-schema-change.html https://octopus.com/blog/databases-with-blue-green-deployments https://www.linkedin.com/pulse/blue-green-deployment-aws-database-synchronisation-james-chan
- #39: https://github.com/facebookincubator/OnlineSchemaChange https://www.percona.com/doc/percona-toolkit/3.0/pt-online-schema-change.html https://octopus.com/blog/databases-with-blue-green-deployments https://www.linkedin.com/pulse/blue-green-deployment-aws-database-synchronisation-james-chan