Sql azure data warehouse gab jorge muchaypina
0 recomendaciones367 vistas
Este documento describe Azure SQL Datawarehouse, un almacén de datos relacional como servicio administrado por Microsoft que permite escalar el almacenamiento e infraestructura desde pequeñas hasta grandes cantidades de datos. Usa un motor de procesamiento paralelo masivo para distribuir los datos y la computación a través de nodos de control y proceso. Los datos se almacenan en Azure Blob storage para carga sin costos de procesamiento.
![Arquitectura SQL Azure Datawarehouse
Nodo
De Control
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
SQL
DB
SQL
DB
SQL
DB
SQL
DB
Blob storage [WASB(S)]
Calculo
Escalamiento de calculo
arriba y abajo
(SLA <= 60 segundos).
Pausa, Detener, Comenzar.
Almacenar
Carga datos a WASB sin
costos de calculo.
Motor de Procesamiento
paralelo masivo(MPP)
Almacenamiento e
Infraestructura de Azure
100 DWU < > 000 DWU
Almacenamiento y calculo se junta, lo
que permite un verdadero servicio
elastico y carga para calculo y
almacenamiento.
Aplicacion o
conexion de
usuario
Carga de Datos
(SSIS, REST, OLE, ADO, ODBC,
WebHDFS, AZCopy, PS) DMS
DMS DMS DMS DMS
DMS(servicio de
movimiento de
datos) se ejecuta en
todos los nodos de
la base de datos.](https://image.slidesharecdn.com/sqlazuredatawarehousegab-jorgemuchaypina-170424205921/85/Sql-azure-data-warehouse-gab-jorge-muchaypina-6-320.jpg)
![Azure SQL Data Warehouse – Nodo de Control
Nodo
De Control
SQL
DB
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
SQL
DB
SQL
DB
SQL
DB
SQL
DB
Blob storage [WASB(S)]
Motor de Procesamiento
paralelo masivo(MPP)
HDInsight
Nodo
De Control
SQL DB
• Terminales para Conexión
• Regular Puerto SQL(TCP 1433)
• Persiste no hay dato
usuario(solo metadata)
• Coordina la actividad de calculo
usando MPP.](https://image.slidesharecdn.com/sqlazuredatawarehousegab-jorgemuchaypina-170424205921/85/Sql-azure-data-warehouse-gab-jorge-muchaypina-7-320.jpg)
![Azure SQL Data Warehouse – Nodos de Proceso
Nodo
De Control
SQL
DB
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
SQL
DB
SQL
DB
SQL
DB
SQL
DB
Blob storage [WASB(S)]
Motor de Procesamiento
paralelo masivo(MPP)
Nodos
De Procesos
Azure SQL Database
SQL DB
Un incremento de DWU
aumentara el numero de
nodos computacionales.](https://image.slidesharecdn.com/sqlazuredatawarehousegab-jorgemuchaypina-170424205921/85/Sql-azure-data-warehouse-gab-jorge-muchaypina-8-320.jpg)
![Azure SQL Data Warehouse – Blob storage
Nodo
De Control
SQL
DB
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
SQL
DB
SQL
DB
SQL
DB
SQL
DB
Blob storage [WASB(S)]
Motor de Procesamiento
paralelo masivo(MPP)
• Almacenamiento RA-GRS
• +PBs de
Almacenamiento
• Recopila datos sin
incurrir costos de
proceso](https://image.slidesharecdn.com/sqlazuredatawarehousegab-jorgemuchaypina-170424205921/85/Sql-azure-data-warehouse-gab-jorge-muchaypina-9-320.jpg)
Sql azure data warehouse gab jorge muchaypina
- 2. Agenda
- 3. SQL Azure Datawarehouse Saas Azure Public Cloud Office 365Office 365 AzureAzure Un almacén de datos relacional como un servicio (PAAS), totalmente gestionado por Microsoft. Soporta desde lo mas pequeña a lo mas grande de la data según la necesidad.
- 4. SMP vs MPP
- 5. SQL Server Analysis Services SQL Server Database Engine Microsoft SQL Server Integration Services SQL Server Master Data Services 1011000110 SQL Server Data Quality Services Microsoft SQL Azure and the Windows Azure Marketplace Microsoft SharePoint Server Microsoft PowerPivot Technologies Microsoft Excel • Data Mining Add-In • PowerPivot Add-In • MDS Add-In Power View SQL Server Reporting Services Reports, KPIs, and Dashboards DataWarehousingBusinessIntelligence DataWarehouse On - Premiese
- 6. Arquitectura SQL Azure Datawarehouse Nodo De Control Nodo De Proceso Nodo De Proceso Nodo De Proceso Nodo De Proceso SQL DB SQL DB SQL DB SQL DB Blob storage [WASB(S)] Calculo Escalamiento de calculo arriba y abajo (SLA <= 60 segundos). Pausa, Detener, Comenzar. Almacenar Carga datos a WASB sin costos de calculo. Motor de Procesamiento paralelo masivo(MPP) Almacenamiento e Infraestructura de Azure 100 DWU < > 000 DWU Almacenamiento y calculo se junta, lo que permite un verdadero servicio elastico y carga para calculo y almacenamiento. Aplicacion o conexion de usuario Carga de Datos (SSIS, REST, OLE, ADO, ODBC, WebHDFS, AZCopy, PS) DMS DMS DMS DMS DMS DMS(servicio de movimiento de datos) se ejecuta en todos los nodos de la base de datos.
- 7. Azure SQL Data Warehouse – Nodo de Control Nodo De Control SQL DB Nodo De Proceso Nodo De Proceso Nodo De Proceso Nodo De Proceso SQL DB SQL DB SQL DB SQL DB Blob storage [WASB(S)] Motor de Procesamiento paralelo masivo(MPP) HDInsight Nodo De Control SQL DB • Terminales para Conexión • Regular Puerto SQL(TCP 1433) • Persiste no hay dato usuario(solo metadata) • Coordina la actividad de calculo usando MPP.
- 8. Azure SQL Data Warehouse – Nodos de Proceso Nodo De Control SQL DB Nodo De Proceso Nodo De Proceso Nodo De Proceso Nodo De Proceso SQL DB SQL DB SQL DB SQL DB Blob storage [WASB(S)] Motor de Procesamiento paralelo masivo(MPP) Nodos De Procesos Azure SQL Database SQL DB Un incremento de DWU aumentara el numero de nodos computacionales.
- 9. Azure SQL Data Warehouse – Blob storage Nodo De Control SQL DB Nodo De Proceso Nodo De Proceso Nodo De Proceso Nodo De Proceso SQL DB SQL DB SQL DB SQL DB Blob storage [WASB(S)] Motor de Procesamiento paralelo masivo(MPP) • Almacenamiento RA-GRS • +PBs de Almacenamiento • Recopila datos sin incurrir costos de proceso
- 11. Azure SQL Data Warehouse vs Warehouse Tradicional Porque elegir la nube?
- 12. Herramientas de Carga de Datos
- 16. Business apps Custom apps IoT - Sensors and devices INTELLIGENCE People Automated Systems
- 17. Detección de Fraudes Historical Transaction Data Azure SQL Data Warehouse Trend Analysis Transaction Detail Distribution Management Intrusion Analysis Reference data
- 18. Predicción de Ventas Historical Sales Data Azure SQL Data Warehouse P&L Analysis Product trending Market & Gap Analysis Competitor impact
- 19. Churn Data Sources Azure SQL Data Warehouse Reduce customer turnover What’s hot and what’s not Loyalty & Perception Scenario SimulationsData Sources Data Sources
- 22. Precios
- 23. Limitaciones •Solo 32 Consultas actualmente •Como se obtiene mas? Creando mas instancias •Máximo de tamaño comprimido es 240 TB •Potencialmente 1PB descomprimido •No soporta lo siguiente •Primary/Foreign Keys •Identity •Computed Columns, •Triggers •Sequences •Cursors •MERGE •Ahora soporta uniqueidentifiers