Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
1 gefällt mir3,136 aufrufe
Das Dokument diskutiert die Anwendung von Big Data und fortgeschrittener Analytik, um Erkenntnisse über Kundendaten und Produktbeliebtheit zu gewinnen. Es stellt verschiedene Azure-Dienste vor, darunter Azure Data Factory und Azure Machine Learning, die Unternehmen helfen, Daten zu sammeln, zu analysieren und zu konsumieren. Zudem wird die Bedeutung von maschinellem Lernen hervorgehoben, um komplexe Probleme zu lösen und personalisierte Programme zu erstellen.
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
- 1. //Rebuild Hätte ich auf der Titanic überlebt? BigData Analysis End-To-End Olivia Klose Technical Evangelist, Microsoft @oliviaklose
- 4. Was war? Was ist? Was wird?
- 5. Advanced Analytics – Beyond BI What happened? Why did it happen? What will happen? How can we make it happen? Traditional BI Advanced Analytics
- 6. Was war? Was ist? Was wird?
- 8. Sensordaten im Geschäft ID Kunden ID Interaktionsdaten x- & y-Koordinaten Product ID
- 9. Sensordaten im Geschäft Display ID Display Name x-Koordinaten y-Koordinaten
- 10. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 Produkte
- 11. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 Produkte Join Nach Beliebtheit sortieren
- 12. Hadoop
- 13. HDInsight
- 14. HDInsight
- 16. HDInsight
- 17. HDInsight
- 18. HDInsight
- 23. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren
- 24. Orchestrieren? Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren
- 29. Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren Azure Data Factory
- 30. Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren In SQL DB kopieren Azure Data Factory
- 31. Datasets
- 32. Pipelines
- 33. Pipeline #1
- 34. Pipeline #1
- 35. Pipeline #1
- 36. Pipeline #1
- 37. Linked Services
- 41. Pipeline #2
- 42. Und was kam raus?
- 43. Sammeln Speichern Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana
- 44. Was war? Was ist? Was wird?
- 46. Azure Stream Analytics Azure SQL DB Azure Event Hubs Azure Tables Azure Blob Storage Azure Blob Storage Azure Event Hubs Reference Data Query runs continuously against incoming streams of events Events Optionally, have a defined schema and are temporal (sequenced in time)
- 47. Azure Stream Analytics – Query
- 48. Azure Stream Analytics – Query
- 49. Azure Stream Analytics – Query
- 50. Azure Stream Analytics – Query Zeitfenster von 1 Sekunde, um halbe Sekunde versetzt
- 51. Azure Stream Analytics – Zeitfenster Tumbling Window Hopping Window Sliding Window
- 53. Beliebte Produkte? In Echtzeit. Wann, was, wieviele Sensordaten Event-Hub Stream Analytics Dashboard
- 54. Gespeichert in SQL DB
- 56. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana
- 57. Was war? Was ist? Was wird?
- 58. Was ist Machine Learning? “The goal of machine learning is to program computers to use example data or past experience to solve a given problem.” Introduction to Machine Learning, 2nd Edition, MIT Press
- 59. Machine Learning – Warum? 1.Zu komplex: Man kann es nicht programmieren. (z.B. Natural Language Processing, Handschrifterkennung, Computer Vision,…) 2.Zu viel: Man kann es nicht skalieren. (z.B. Spam & Betrugsaufdeckung, Medizin) 3.Zu speziell: Man will personalisierte Programme schreiben. (z.B. Amazon, Netflix) 4.Autonomes Lernen (z.B. Robotik)
- 60. Azure Machine Learning Machine Learning für alle Unternehmen, Data Scientists, Entwickler, Analysten und Nutzer überall auf der Welt zugänglich machen
- 61. Azure Machine Learning HDInsight SQL Server VM SQL DB Blobs & Tabellen Cloud Desktopdateien Exceltabelle Andere… Lokal ML Studio IDE für ML Web Service M Monetarisieren Speicherkonto
- 66. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Data Factory HDInsight Machine Learning Cortana Dashboard
- 67. Wrap Up Was haben wir gemacht?
- 68. Was war? Was ist? Was wird?
- 69. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana
- 70. Machine Learning Muss ich jetzt Machine Learning lernen?
- 71. Azure Marketplace – Empfehlungsdienst
- 78. Blog-Serie zu Machine Learning http://aka.ms/MLSerie
- 79. Kostenlose Video-Serie zu Azure ML http://aka.ms/AzureML-MVA