Big Data Engineer

Цільові групи:

Der Lehrgang richtet sich an Personen mit abgeschlossenem Studium in der Informatik, Wirtschaftsinformatik, BWL, Mathematik oder vergleichbarer Qualifikation.

Професійні вимоги:

Programmierkenntnisse (idealerweise Python) und Erfahrungen mit Datenbanken (SQL) werden vorausgesetzt.

Технічні вимоги:

Die Teilnahme am Unterricht erfolgt über Internet per Videotechnik. Voraussetzung für die Nutzung deiner eigenen Hardware ist die Installation der Applikation alfaview®: https://cloud.alfanetz.de/test Falls du keinen geeigneten Computer hast, erhältst du von uns das technische Equipment, um von zuhause aus am Kurs teilnehmen zu können. Sollten die räumlichen und technischen Voraussetzungen dir eine Teilnahme von zuhause aus nicht ermöglichen, kannst du deinen Kurs auch in einem unserer Bildungszentren absolvieren.

Номенклатура агенцій з працевлаштування:

• C 1435-15-10 Datenbankentwicklung, -programmierung - allgemein

Зміст

Big Data Engineers werden zur interdisziplinären Analyse und Konzeption von IT- und Datenbanklösungen eingesetzt. Der Kurs erläutert daher die Grundlagen von Business Intelligence, den Einsatz von Künstlicher Intelligenz (KI) sowie die Anforderungen des Data Engineerings.

Data Engineer

Grundlagen Business Intelligence (ca. 2 Tage)
Anwendungsfelder, Dimensionen einer BI Architektur
Grundlagen Business Intelligence, OLAP, OLTP, Aufgaben der Data Engineers
Data Warehousing (DWH): Umgang und Verarbeitung von strukturierten, semi-strukturierten und unstrukturierten Daten

Anforderungsmanagement (ca. 2 Tage)
Aufgaben, Ziele und Vorgehensweise in der Anforderungsanalyse
Datenmodellierung, Einführung/Modellierung mit ERM
Einführung/Modellierung in der UML
· Klassendiagramme
· Use-Case Analyse
· Aktivitätsdiagramme

Künstliche Intelligenz (KI) im Arbeitsprozess
Vorstellung von konkreten KI-Technologien im beruflichen Umfeld
Anwendungsmöglichkeiten und Praxis-Übungen

Datenbanken (ca. 3 Tage)
Grundlagen von Datenbanksystemen
Architektur von Datenbankmanagementsystemen
Anwendung RDBMS
Umsetzung Datenmodell in RDBMS, Normalformen
Praktische und theoretische Einführung in SQL
Grenzen von Relationalen Datenbanken, csv, json

Data Warehouse (ca. 4 Tage)
Star Schema
Datenmodellierung
Erstellung Star Schema in RDBMS
Snowflake Schema, Grundlagen, Datenmodellierung
Erstellung Snowflake Schema in RDBMS
Galaxy Schema: Grundlagen, Datenmodellierung
Slowly Changing Dimension Tables Typ 1 bis 5 – Restating, Stacking, Reorganizing, mini Dimension und Typ 5
Einführung in normal, causal, mini und monster, heterogeneous und sub Dimensions
Vergleich von state und transaction oriented
Faktentabellen, Density und Storage vom DWH

ETL (ca. 4 Tage)
Data Cleansing
· Null Values
· Aufbereitung von Daten
· Harmonisierung von Daten
· Anwendung von Regular Expressions
Data Understanding
· Datenvalidierung
· Statistische Datenanalyse
Datenschutz, Datensicherheit
Praktischer Aufbau von ETL-Strecken
Data Vault 2.0, Grundlagen, Hubs, Links, Satellites, Hash Key, Hash Diff.
Data Vault Datenmodellierung
Praktischer Aufbau eines Data Vault Modells – Raw Vault, Praktische Umsetzung von Hash-Verfahren

Projektarbeit (ca. 5 Tage)
Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse



Big Data Specialist

Was ist Big Data? (ca. 1 Tag)
Volume, Velocity, Variety, Value, Veracity
Chancen und Risiken großer Datenmengen
Abgrenzung: Business Intelligence, Data Analytics, Data Science
Was ist Data Mining?

Einführung in Apache Frameworks (ca. 2 Tage)
Big-Data-Lösungen in der Cloud
Datenzugriffsmuster
Datenspeicherung

MapReduce (ca. 3 Tage)
MapReduce Philosophie
Hadoop Cluster
Verketten von MapReduce Jobs

Künstliche Intelligenz (KI) im Arbeitsprozess
Vorstellung von konkreten KI-Technologien im beruflichen Umfeld
Anwendungsmöglichkeiten und Praxis-Übungen

Komponenten (ca. 3 Tage)
Kurzvorstellung von verschiedenen Tools
Datenübertragung
YARN-Anwendungen
Hadoop JAVA-API
Apache Spark

NoSQL und HBase (ca. 3 Tage)
CAP-Theorem
ACID und BASE
Typen von Datenbanken
HBase

Big Data Visualisierung (ca. 3 Tage)
Theorien der Visualisierung
Diagrammauswahl
Neue Diagrammarten
Werkzeuge zur Datenvisualisierung

Projektarbeit (ca. 5 Tage)
Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse

Änderungen möglich. Die Lehrgangsinhalte werden regelmäßig aktualisiert.

Освітня мета

Du beherrschst die Prozesse rund um die Zusammenführung, Aufbereitung, Anreicherung und Weitergabe von Daten. Außerdem kannst du große, unstrukturierte Datenmengen verarbeiten und die Daten ansprechend visualisieren.