SAP HANA, Power Pivot, SQL Server – In-memory-Technologien im Vergleich

SAP HANA, Power Pivot, SQL Server –
In-Memory-Technologien im Vergleich
SQLSaturday Rheinland 201428.06.2014

Über mich – Marcel Franke
Practice Lead Advanced Analytics & Data Science
pmOne AG – Deutschland, Österreich, Schweiz
P-TSP für Microsoft für APS und PDW
Schwerpunkt: Data Warehouse, Big Data & Data Analytics
Blog: dwjunkie.wordpress.com
E-Mail: marcel.franke@pmOne.com

Organizer

You Rock! Sponsor

Gold Sponsor

Silver Sponsor

Bronze Sponsor and Media Partner

Agenda
 Was passiert am Markt?
 Warum ist In-Memory so beliebt?
 In-Memory bei Microsoft
 In-Memory bei SAP
 Zusammenfassung und Vergleich

Was passiert am Markt?
28.06.2014 SQLSaturday Rheinland 2014

Alle haben In-Memory-Technologien

In-Memory ist aber nichts Neues
SAP HANA
OLAP-Technologien

Ranking der Hersteller
BI & Analytics Plattformen Data Warehouse

ABER WARUM IST IN-MEMORY
SO HIP?

Quelle: Ray Kurzweil
Quelle: Ray Kurzweil

Preisentwicklung Speicher
23.07.2014 © BARC 2013
16

Hintergrund – „Flaschenhälse verhindern“
Datenbank
Applikation
Calculation
Calculation
Zukünftiger
Ansatz
Klassischer
Ansatz

Move data to compute or compute to data?
move data to compute
Datenbanken
OLAP
compute to data
Daten

Technische Innovationen
Hardware Innovationen
64bit address space – 2TB in
current servers
Dramatic decline in RAM
price/performance
Multi-Core Architecture
Massive parallel (MPP) scaling with
many nodes
Row and Column Store
Compression
Partitioning
No pre-calculated
Aggregations
Real-Time Data Capture
Insert Only on Delta
Software Innovationen

Warum In-Memory-Datenbanken?
Steigende Daten
Volumina
Calculation Speed
Art und Anzahl der
Daten Quellen
Geringe Transparenz
Information nur auf hoher Aggregation
verfügbar. Planungen und Analysen basieren
oft auf veralteten Daten (Latenz: Tage,
Wochen)
Reaktives Business Model
Verlorene Opportunities und Nachteile aufgrund
mangelnder Agilität und Geschwindigkeit
Geringe Reaktionsgeschwindigkeit
Durch hohe Daten Latenz und Deployment
Komplexität
Derzeitige Situation
Informations-
Latenz

Warum In-Memory Computing?
TeraBytes an Daten
In-Memory
Skalierbarer Daten
Througput Real Time
Hoch-Flexible
Strukturen
Business Performance verbessern
 Lösungen können schnell und iterativ
deployed werden
 Planung und Simulation „on the fly“ auf
nicht-aggregierten Daten
Grundlage für Advanced und
Predictive Analytics
Flexibilität steigern
 Iterative Entwicklungszyklen werden
ermöglicht
 Evolutionäre Vorgehensmodelle werden
ermöglicht
Zukünftige Situation

IN-MEMORY BEI MICROSOFT

In-Memory bei Microsoft
xVelocity
Personal
BI
Team BI Corporate BI
Power Pivot
O365 Power
BI
Excel SQL Server 2014
Memory Optimized
Tables

WIE FUNKTIONIEREN
MEMORY OPTIMIZED TABLES?

Architektur
 adad

WIE FUNKTIONIERT DER
CLUSTERED COLUMNSTORE?

Zeilen werden zu Spalten
Product Customer Date Sale
Beer Thomas 2011-11-25 2 GBP
Beer Thomas 2011-11-25 2 GBP
Vodka Thomas 2011-11-25 10 GBP
Whiskey Christian 2011-11-25 5 GBP
Whiskey Christian 2011-11-25 5 GBP
Vodka Alexei 2011-11-25 10 GBP
Vodka Alexei 2011-11-25 10 GBP
Sales
ID Value
1 Beer
2 Beer
3 Vodka
4 Whiskey
5 Whiskey
6 Vodka
7 Vodka
ID Customer
1 Thomas
2 Thomas
3 Thomas
4 Christian
5 Christian
6 Alexei
7 Alexei
Product Customer
Und so weiter…
bis…

Und wir bekommen…
ID Value
1 Beer
2 Beer
3 Vodka
4 Whiskey
5 Whiskey
6 Vodka
7 Vodka
ID Customer
1 Thomas
2 Thomas
3 Thomas
4 Christian
5 Christian
6 Alexei
7 Alexei
Product Customer
ID Date
1 2011-11-25
2 2011-11-25
3 2011-11-25
4 2011-11-25
5 2011-11-25
6 2011-11-25
7 2011-11-25
Date
ID Sale
1 2 GBP
2 2 GBP
3 10 GBP
4 5 GBP
5 5 GBP
6 10 GBP
7 10 GBP
Sale

Und was jetzt?
ID Value
1 Beer
2 Beer
3 Vodka
4 Whiskey
5 Whiskey
6 Vodka
7 Vodka
Product
Run length
Encode
Product’
ID Value
1-2 Beer
3 Vodka
4-5 Whiskey
6-7 Vodka

Daten komprimieren
ID Value
1-2 Beer
3 Vodka
4-5 Whiskey
6-7 Vodka
ID Customer
1-3 Thomas
4-5 Christian
6-7 Alexei
Product’ Customer’
ID Date
1-7 2011-11-25
Date’
ID Sale
1-2 2 GBP
3 10 GBP
4-5 5 GBP
6-7 10 GBP
Sale’

SAP HANA, Power Pivot, SQL Server – In-memory-Technologien im Vergleich

Was verwenden wir wann?
Memory optimized Tables
 Optimiert für OLTP workloads
 Gut für kleine und viele
Transaktionen
 Nicht gut bei großen Scans
 Keine Kompression
 Keine Indexstrukturen
 Schnelle Zwischenspeicher
Clustered Columnstore
 Data Warehouse Queries
 Selektion einzelner Spalten
 Gute Kompression der Daten

Wie kompatibel ist In-Memory?
xVelocity
Power PivotSQL Server 2014

Laden der Daten nach Power Pivot
 Test: 20 Mio. Zeilen große Tabelle
 Daten werden unterschiedlich im SQL
Server gehalten (CI, CCI, MOT)
 Ergebnis
 CI: 2m 47s
 CCI: 2m 46s
 MOT: 4m 20s
Fazit: In-Memory ist nicht kompatibel

VERGLEICH DER KOMPRESSION

Kompression

Vergleich zwischen Herstellern

IN-MEMORY IN SAP HANA

In-Memory in SAP
SAP HANA
Personal BI Team BI Corporate BI
HANA
Information
Composer
SAP BO Lumira
Excel
SAP BW
Workspace
SAP BO
LiveOffice
HANA
Studio

SAP HANA Ecosystem

SAP HANA Platform

SAP HANA Architektur

In-Memory in HANA
 Reine In-Memory Datenbank
 OLTP + OLAP in der gleichen Datenbank
 Derzeit: 80 Cores, 1 TB RAM in einem Server
-> 5-6 TB Data Warehouse
 Hauptspeicher kann pro Instanz verteilt
werden
 Workload Management: Auf der Roadmap 

Zusammenfassung

Zusammenfassung: Microsoft und SAP
• Beide Hersteller bieten hoch-performante in-Memory Technologien an
• Beide Hersteller bieten In-Memory Technologien für OLAP & OLTP Workloads an.
BI Users
Data
Discovery
Data Storage
& Operations
Zentraler
MetaDaten-
Layer
Engine läuft
auf Server
und Clients
Eine oder
mehrere
zentrale
HANA-
Instanzen
Zentralistische
Architektur
Verteilte
Architektur

Thank you!
for sponsorship
for volunteering
for participation
for a great
SQLSaturday #313

SAP HANA, Power Pivot, SQL Server – In-memory-Technologien im Vergleich

Weitere ähnliche Inhalte

Was ist angesagt? (20)

Andere mochten auch (20)

Ähnlich wie SAP HANA, Power Pivot, SQL Server – In-memory-Technologien im Vergleich (20)

SAP HANA, Power Pivot, SQL Server – In-memory-Technologien im Vergleich

Hinweis der Redaktion