DP-203 Data Engineering on Microsoft Azure

Zielgruppen:

Dieser Kurs richtet sich an Business-Intelligence-Experten/-innen, Datenanalysten/-innen, Datenarchitekten/-innen und Datenexperten/-innen, die die mit auf Microsoft Azure basierenden Analyselösungen arbeiten.

Fachliche Voraussetzungen:

Für diesen Kurs sollten die Kursteilnehmer/-innen folgende Vorkenntnisse mitbringen: - Kenntnissen in Cloud Computing und Kerndatenkonzepten - Berufserfahrung mit Datenlösungen Absolvierung der Kurse: - AZ-900 - Azure Fundamentals - DP-900 - Microsoft Azure Data Fundamentals

Technische Voraussetzungen:

Keine besonderen Anforderungen.

Systematik der Agenturen für Arbeit:

keine Angaben

Inhalte

In diesem Kurs lernen die Teilnehmer/-innen die Data Engineering-Muster und -Praktiken kennen, die sich auf die Arbeit mit Batch- und Echtzeit-Analyselösungen unter Verwendung von Azure-Datenplattformtechnologien beziehen. Die Teilnehmer/-innen erlernen mit Grundlagen der wichtigsten Computer- und Speichertechnologien, die zum Erstellen einer analytischen Lösung verwendet werden. Zudem werden analytische Ausgabeebenen entworfen. Die Teilnehmer/-innen lernen, wie man Daten, die in Dateien in einem Datenmeer gespeichert sind, interaktiv untersuchen kann. Sie lernen die verschiedenen Aufnahmetechniken kennen, die zum Laden von Daten mit Hilfe der Apache Spark-Funktion in Azure Synapse Analytics oder Azure Databricks oder zum Aufnehmen mit Hilfe von Azure Data Factory- oder Azure Synapse-Pipelines verwendet werden können. Auch werden den Teilnehmern/-innen die verschiedenen Möglichkeiten aufgezeigt, wie man Daten mit denselben Technologien transformieren kann, mit denen sie aufgenommen werden. Die Teilnehmer/-innen erlernen, wie die Leistung des Analysesystems überwacht und analysiert wird, um die Leistung beim Laden von Daten oder bei Abfragen, die an die Systeme gesendet werden, zu optimieren. Nach dem Kurs wissen die Teilnehmer/-innen, wie wichtig es ist, Sicherheit zu implementieren, um sicherzustellen, dass die Daten in Ruhe oder während des Transports geschützt sind. Sie verfügen zudem über das Wissen, wie die Daten in einem Analysesystem zum Erstellen von Dashboards oder zum Erstellen von Vorhersagemodellen in Azure Synapse Analytics verwendet werden können.


Inhalt
Data Engineering on Microsoft Azure
Rechen- und Speicheroptionen für Data-Engineering-Workloads
- Einführung in Azure Synapse Analytics
- Erläuterung von Azure Databricks
- Erläuterung in Azure Data Lake-Speicher
- Beschreiben der Delta Lake-Architektur
- Arbeiten mit Datenströmen unter Verwendung von Azure Stream Analytics

Design und Implementierung der Serving Layer
- Entwerfen eines mehrdimensionales Schemas, um analytische Workloads zu optimieren
- Codefreie Transformation im Maßstab mit Azure Data Factory
- Sich langsam ändernde Dimensionen in Azure Synapse Analytics-Pipelines füllen

Überlegungen zum Daten-Engineering für Quelldateien
- Entwerfen eines modernen Daten-Warehouse mit Azure Synapse Analytics
- Sichern eines Daten-Warehouse in Azure Synapse Analytics

Interaktive Abfragen mit Azure Synapse Analytics serverlosen SQL-Pools ausführen
- Möglichkeiten von Azure Synapse Serverless SQL Pools
- Abfragen von Daten im Lake mit Azure Synapse Serverless SQL Pools
- Erstellen von Metadatenobjekten in Azure Synapse Serverless SQL Pools
- Sichern von Daten und Verwalten von Benutzern in Azure Synapse Serverless SQL Pools

Durchsuchen, Transformieren und Laden von Daten in das Daten-Warehouse mit Apache Spark
- Grundlegendes zum Engineering großer Datenmengen mit Apache Spark in Azure Synapse Analytics
- Daten mit Apache Spark-Notebooks in Azure Synapse Analytics aufnehmen
- Daten mit Data Frames in Apache Spark-Pools in Azure Synapse Analytics transformieren
- SQL- und Apache Spark-Pools in Azure Synapse Analytics integrieren

Datenexploration und -transformation in Azure Databricks
- Beschreiben von Azure Databricks
- Lesen und Schreiben von Daten in Azure Databricks
- Arbeiten mit Data Frames in Azure Databricks
- Arbeiten mit erweiterten Data Frames-Methoden in Azure Databricks

Daten aufnehmen und in das Daten- Warehouse laden
- Verwenden Sie bewährte Praktiken zum Laden von Daten in Azure Synapse Analytics
- Aufnahme im Petabyte-Bereich mit Azure Data Factory

Transformieren von Daten mit Azure Data Factory- oder Azure Synapse-Pipelines
- Datenintegration mit Azure Data Factory- oder Azure Synapse-Pipelines
- Codefreie Transformation im Maßstab mit Azure Data Factory- oder Azure Synapse-Pipelines

Orchestrierung der Datenbewegung und -transformation in Azure Synapse Pipelines
- Orchestrierung der Datenbewegung und -transformation in Azure Data Factory

Optimieren der Abfrageleistung mit dedizierten SQL-Pools in Azure Synapse
- Optimieren der Data-Warehouse-Abfrageleistung in Azure Synapse Analytics
- Verstehen der Data-Warehouse-Entwicklerfunktionen von Azure Synapse Analytics

Analyse und Optimierung der Daten Warehouse Speicherung
- Analysieren und Optimierung des Daten-Warehouse-Speicher in Azure Synapse Analytic

Hybride transaktionale analytische Verarbeitung (HTAP) mit Azure Synapse Link unterstützen
- Entwerfen hybride transaktionale und analytische Verarbeitung mit Azure Synapse Analytics
- Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
- Abfrage von Azure Cosmos DB mit Apache Spark-Pools
- Abfrage von Azure Cosmos DB mit serverlosen SQL-Pools

End-to-End-Sicherheit mit Azure Synapse Analytics
- Sichern eines Data Warehouse in Azure Synapse Analytics
- Konfigurieren und Verwalten von Secrets in Azure Key Vault
- Implementieren von Compliance-Kontrollen für sensible Daten

Echtzeit-Stream-Verarbeitung mit Stream Analytics
- Ermöglichen des zuverlässiges Messaging für Big-Data-Anwendungen mit Azure Event Hubs
- Arbeiten mit Datenströmen mithilfe von Azure Stream Analytics
- Ingest von Datenströmen mit Azure Stream Analytics

Erstellen einer Stream-Verarbeitungslösung mit Event Hubs und Azure Databricks
- Verarbeiten von Streaming-Daten mit Azure Databricks strukturiertem Streaming

Erstellen von Berichten mit Hilfe der Power BI-Integration mit Azure Synapse Analytics
- Erstellen von Berichten mit Power BI mit Hilfe der Integration in Azure Synapse Analytics

Integrierte Machine-Learning-Prozesse in Azure Synapse Analytics durchführen
- Verwendung des integrierten maschinellen Lernprozesses in Azure Synapse Analytics