Azure SQL Database vs. Azure SQL Data Warehouse
Als PPTX, PDF herunterladen0 gefällt mir136 aufrufe
Microsoft bietet mit Azure SQL Database und Azure SQL Data Warehouse zwei leistungsstarke Datenbanklösungen als Service, die eine schnelle Skalierbarkeit und Integration in andere Azure-Dienste ermöglichen. Beide Optionen bieten kosteneffiziente Preismodelle, vorgefertigte Funktionen für hohe Verfügbarkeit und Sicherheit sowie eine benutzerfreundliche Entwicklungsumgebung. Die Unterschiede liegen in der Architektur und den spezifischen Anwendungen für relationale Daten und große Datenmengen.
Azure SQL Database vs. Azure SQL Data Warehouse
- 1. Azure SQL Database vs. Azure SQL Data Warehouse Marcel Franke Viktor Adler
- 2. Über mich – Viktor Adler • Consultant, pmOne AG • pmOne AG, Unterschleißheim • Microsoft Specialist/Certified Professional • Schwerpunkt: Data Warehouse, ETL • E-Mail: viktor.adler@pmone.com
- 3. Über mich – Marcel Franke • VP Technology & Growth, pmOne Analytics GmbH • Fokus ist Data Science & Advanced Analytics • Sehr enge Verbundenheit mit der Universität Paderborn • Büros in Paderborn & Wien • P-TSP für Microsoft für das Thema Big Data & Analytics • Web: www.pmoneanalytics.com • E-Mail: marcel.franke@pmone.com
- 4. pmOne Analytics Lorem ipsum dolor sit amet, consectetur adipiscing 4
- 5. 5 pmOne Group Copyright by pmOne Analytics Business Intelligence & Analytics Platform Corporate Performance Management BI & IT Strategy Consulting (verovis GmbH) Advanced Analytics (pmOne Analytics GmbH) pmOne Group divisions Founded 2007, 210+ employees at 8 locations Revenue 2014: ~28 Mio.€ Microsoft & Tagetik focus Own Software stack: cMORE (Reporting & DWH Modelling) Representation of Tagetik in DACH pmOne Group facts
- 6. Our approach We love data See what we see Microsoft & Hadoop Understand Your Business Analytics Platform Data Science Data Visualization Strategy Consulting 6Copyright by pmOne Analytics
- 7. Our team 7Copyright by pmOne Analytics
- 8. Our services Customer / Product Analytics 8 Machine Analytics, IoT, Industry 4.0 Advanced Analytics Platform Optimize Campaign Management / Uplift Model Marketing Customer Lifetime Value Sales Recommender Sales Churn prevention Sales Clustering Marketing Faulty Part detection Shop floor Digitalization Predictive Maintenance IoT Hub / Platform Advanced Analytics Platform / Data Science Laboratory Customer Analytics Hub Copyright by pmOne Analytics Production Production Production Analytical CRM Optimize Process Quality / Efficiency Production Condition Monitoring Production
- 9. Our clients (selection) 9Copyright by pmOne Analytics
- 10. Agenda • Einleitung • Architektur & genereller Aufbau • Tools & Entwicklungsumgebung • Skalierbarkeit & Workloads • Berechtigungen & Security • Hochverfügbarkeit, Backup & Restore • Kosten • Zusammenfassung
- 11. Überblick
- 12. Visualize + Decide MobileReports Natural language queryDashboardsApplications Streaming Capture + Manage Relational Internal & externalNon-relational NoSQL Transform + Analyze Orchestration Machine learningModeling Information management Complex event processing The Microsoft data platform Data
- 13. Comprehensive. Connected. Choice. DW vision & portfolio Microsoft SQL Server SQL Server 2014 SQL Server 2016 Fast Track for SQL Server Analytics Platform System Microsoft Analytics Hortonworks HDP Analytics Platform System Relational Beyond relational Microsoft Azure SQLServerforDWinAzureVM Azure SQL Database Azure SQL Data Warehouse Microsoft Azure Azure HDInsight Azure Data Lake Document DB Spark On-PremisesCloud Azure Data Factory Federated Query Azure Machine Learning PowerBI
- 14. Software-as-a-Service (SaaS) • Datenbank als Service • Infrastruktur managed by Microsoft • Up & Running in Minuten • Multitenant für verschiedene Szenarien möglich • Nahezu lineare Skalierbarkeit • Weniger Verwaltungsaufwand notwendig • “Garantierte” Performance • Gerantierte SLAs • Preis orientiert sich rein am Nutzungsverhalten
- 15. Scale up vs. Scale-Out (SMP vs. MPP) Quelle: http://cbblog.azurewebsites.net/content/images/2015/06/KB_Scale_Out-Up.png
- 16. SQL Database - Architektur
- 17. SQL Database vs. SQL Server SQL Server • auf physischen Maschinen • auf on-premise virtuellen Maschinen (private cloud) • auf Azure virtuellen Maschinen (public cloud) SQL Database (public cloud)
- 18. Was ist der Unterschied zum SQL Server auf virtuellen Maschinen? SQL Server in einer Azure VM Azure SQL Datenbank Geeignet für… Kostenvorteile Skalierbarkeit Ressourcen
- 19. SQL Database Server SQL Server als logische Organisationseinheit • enthält mehrere Azure SQL Datenbanken • regelt generellen Zugriff über IPs
- 20. SQL Data Warehouse - Architektur
- 21. Introducing Azure SQL DW Service A relational data warehouse-as-a-service, fully managed by Microsoft. Industries first elastic cloud data warehouse with proven SQL Server capabilities. Support your smallest to your largest data storage needs. AzureAzure
- 22. App Service Intelligent App Hadoop Azure Machine Learning Power BI Azure SQL Database SQ L Azure SQLData Warehouse Power of Integration
- 23. Positioning • Cloud-based • Dev/test/exploratory (on-demand) • Local to cloud-born data • Supports hub & spoke approach for PaaS and IaaS offerings • Better than non-relational platforms for interactive reporting • Integrates with ADF, ML and other Azure services • License-free approach – designed as a service offering rather than an investment • Fast elastic scale up and down • Hybrid upsell and integration supports APS or on-premises investment SQL DW
- 24. Trennung von Compute & Storage Control Compute Compute Compute Compute Azure Compute Azure Blob Storage Mirrored DC Azure Blob Storage
- 25. SQL Data Warehouse vs. APS
- 26. • Pre-built HW appliance • Massively Parallel Processing (MPP) to scale to 6 PBs • In-memory columnstore for 100x speed improvement • Dedicated region for Hadoop • PolyBase enables joining relational & non-relational data • Available from HP, Dell and Quanta • AU3/AU4 MPP SQL Server PolyBase Hadoop Analytics Platform System Microsoft’s big data appliance
- 27. Datenmodellierung SQL DW • Daten werden automatisch verteilt • Man muss sich über das Design des Datenmodells gedanken machen, nicht über die physikalische Verteilung • Abfragen werden auch automatisch verteilt
- 28. Aufpassen auf die Datenverteilung Faustregel: mindest. 600 distinkte Werte für Hash Disribution, sonst Round Robin
- 29. Demo Time
- 30. Wie lade ich Daten?
- 31. SQL Azure DB Data sources Structured Unstructured Semi-structured Relational (RDBMS) SQL Azure PaaS SQL Server Integration Services Azure Data Factory BCP, Bulk Insert, SQLBulkCopy
- 32. SQL Azure SQL Data Warehouse SQL Data Warehouse Data sources Structured Unstructured Semi-structured Relational (RDBMS) PaaSSQL Server Integration Services Azure Data Factory Blob Store BCP, Bulk Insert, SQLBulkCopy PolyBase
- 33. Polybase • Integrierter Zugriff auf Hadoop oder Blob Store via T-SQL • Integration von Semistrukturierten Daten • Interessant für Archivierungskonzepte • Hochparalleler Zugriff zwischen SQL DW & Hadoop / Blob Store / (Data Lake) • Ermöglicht kombinierte Abfragen
- 35. Admin & Monitoring Tools • Azure Management Portal • Performance Monitor • Alerts • SQL Server Management Studio • Gewohnte Oberfläche • Mehrere Datenbanken verwalten • System Views • master.sys.resource_stats • user_db.dm_db_resource_stats
- 36. Dev Tools • Data Tools in Visual Studio • REST • Powershell • T-SQL • DAC Framework • SSIS • C# • Ruby • Python • etc.
- 37. Execution Pläne für SQL DW select * from sys.dm_pdw_exec_requests where status like 'Running' select * from sys.dm_pdw_request_steps where request_id like 'QIDxxxx' ORDER BY Step_index ASC
- 38. Reporting Tools / Power BI • SQL Server Reportinf Services • Power BI • Excel • 3rd Party • ODBC Konnektoren https://azure.microsoft.com/en-us/documentation/articles/sql-data- warehouse-integrate-power-bi/
- 39. Analytics – Cortana Analytics Suite
- 40. SQL Database - Skalierbarkeit
- 41. DTU – Database Transaction Unit CPU Schreiben Lesen Speicher 75% 50% 60% Auslastung
- 42. Einzeldatenbank
- 43. DTU vs. eDTU
- 45. SQL Data Warehouse - Skalierbarkeit
- 46. SQL Data Warehouse - Skalierbarkeit Rechenleistung / Memory skalierbar mittels DWU • Scan/Aggregation für IP und CPU • Laden für Netzwerkleistung und CPU • Create Table as Select für CPU und Netzwerkleistung Speicherskalierbarkeit basierend auf Azure Blob Speicher • Blob Größe • Blob Anzahl
- 47. Darf’s ein bisschen mehr sein? • 100 DWU – 2000 DWU • 3000 & 6000 DWUs über Support möglich --TSQL zum Anpassen der DWUs ALTER DATABASE Demo MODIFY (SERVICE_OBJECTIVE = 'DW2000');
- 48. DWU 100 • 1 Control Node • 1 Compute Node • 60 Distributions
- 49. DWU 200 • 1 Control Node • 2 Compute Nodes • 60 Distributions in Summe • 30 Distributions / Node
- 50. Demo Time
- 51. SQL Database Berechtigungen & Security
- 52. SQL Database - Sicherheit Schützen der Datenbank Schützen der Daten Azure SQL Database APP Schützen der Daten- änderungen
- 53. SQL Database - Berechtigungen • Active Directory Integration • Datenmaskierung in Echtzeit und dauerhaft • Datenverschlüsselung für sensible Daten • Monitoring der Zugriffe SQL Datenbank Table.CreditCardNo 4465-6571-7868-5796 5796 4468-7746-3848-1978 1978 4484-5434-6858-6550 6550 Echtzeit Datenmaskierung
- 54. Demo Time
- 55. SQL Data Warehouse - Berechtigungen & Security
- 56. Berechtigungen & Security Connection Security • IP-& Firewall-Regeln, VPN Authentifizierung • Aktuell SQL Authentifizierung, AD kommt • Logins, Rollen & Berechtigungen Verschlüsselung • Verschlüsselung der Daten in der Datenbank & Backups • Verwendet Transparent Data Encryption (TDE)
- 57. SQL Database - Hochverfügbarkeit, Backup & Restore
- 58. SQL Database - Backups • Point-in-time Wiederherstellung • Kein separater Service • Wiederherstellung zu einem konkreten Zeitpunkt • Automatische Datenaufbewahrung • Modell Basic bis zu 7 Tage • Modell Standard bis zu 14 Tage • Modell Premium bis zu 35 Tage • Regelmäßige interne Backups • Wöchentliches Fullbackup • Tägliches Differentialbackup • Backup des Transaktionenlogs jede 5 Minuten
- 59. SQL Database - Hochverfügbarkeit • 99,99% Verfügbarkeit durch SLA • Standard Geo-Replication mit einer Stand-by Kopie • Aktive Geo-Replication mit bis zu 4 lesbaren Kopien Geo- replicated Restore from backup SQL Database backups Azure Storage
- 60. SQL Data Warehouse - Hochverfügbarkeit, Backup & Restore
- 61. Backup & Restore Backup • Snapshots der Datenbank mindestens alle 8 Stunden • Snapshots sind 7 Tage verfügbar • Derzeit keine weitere Backup-Funktionalität möglich Restore • Restore aus Snapshots zu einem Zeitpunkt möglich • Restore auch von gelöschten Datenbanken möglich Automatismen • Automatisierbar via Power Shell oder Rest API SLAs derzeit noch nicht verfügbar (Preview)
- 62. Demo Time
- 64. SQL Database - Preise & SLAs
- 65. SQL Database - Preise • Basic, Standard & Premium Modell • Geo-Replication möglich • Support Pläne ab 25€ / Monat verfügbar • Garantierte Verfügbarkeit von 99,99%
- 66. SQL Data Warehouse – Preise & SLAs
- 67. SQL Data Warehouse - Preise • Compute & Storage werden separate bezahlt • Compute kann man pausieren • Storage Kosten basieren auf Standard RA-GRS Page Blob Preise • Zur Zeit noch kein SLA
- 68. Zusammenfassung
- 69. Zusammenfassung • Microsoft mit SQL Database & SQL Data Warehouse zwei gute Angebote für Datenbank als Service • Up & Running innerhalb von Minuten • Skalierbarkeit bis in den Bereich von TB bereits möglich • SMP & MPP funktionieren ein bisschen anders • Support für Data Tools und Management Studio wird weiter ausgebaut • Integration in andere Azure Services möglich (Data Factory, Power BI, Azure ML) • Preis-Leistungs-Verhältnis ist unschlagbar
Hinweis der Redaktion
- #19: Reference: http://azure.microsoft.com/en-us/documentation/articles/data-management-azure-sql-database-and-sql-server-iaas/ Speaker Notes: With the introduction of the next generation of the Azure SQL Database service, the feature compatibility gap is largely reduced, so parity with SQL Server is no longer the major differentiator between VM and the database service. The big criteria for choosing VM vs. the database service, are costs, time to market, and the type of application(s) using the data tier. For example, Azure SQL Database service is more suitable for Software-as-a- service applications.
- #20: Reference: http://azure.microsoft.com/en-us/documentation/articles/data-management-azure-sql-database-and-sql-server-iaas/ Speaker Notes: With the introduction of the next generation of the Azure SQL Database service, the feature compatibility gap is largely reduced, so parity with SQL Server is no longer the major differentiator between VM and the database service. The big criteria for choosing VM vs. the database service, are costs, time to market, and the type of application(s) using the data tier. For example, Azure SQL Database service is more suitable for Software-as-a- service applications.
- #22: Elastic scale and performance: • Scale out to petabytes with MPP technology • Resize compute nodes in less than one minute • Faster time to insight than SMP-based offerings • Designed for the “on-demand” workload (speed to scale) Built and optimized for the cloud: • Integrated with the Azure platform • Enables hybrid solutions – on premise or in the cloud • Built on SQL server experience and technology • Works seamlessly with other Microsoft products – from on-premises SQL Server to everything in the cloud. Market leading price/performance • Simple compute and storage billing • Pay for what you need • High performance without rewriting applications • Low cost for latent data • No management needed: infrastructure, mgmt. and support
- #23: A customer can take data requirements, execute their processes on their data, their way. The customer has choice and flexibility Integration of end-end data scenario Use data from any source Ingest into SQL DW where it’s stored Then is availabile with other cloud and on-premises solutions and services, including Azure SQL DB, ML, Visualizaiton like Power BI and Hadoop
- #27: - Prebuilt & performance-tuned appliance - Dedicated region for Hadoop Performance AU4: 1.5X data return rate for SELECT * queries In-Memory Columstore provides up to 100x improvement in query performance and 15x compression with Optimal Value Industry’s lowest DW Price/TB Turnkey appliance via multiple hardware vendors
- #33: https://azure.microsoft.com/en-us/documentation/articles/sql-data-warehouse-get-started-load-with-polybase/