Data Engineer Tools

Ziele

In dieser 10-tägigen Schulung "Data Engineer Tools" lernen Sie die entscheidenden Fähigkeiten des Data Engineering kennen, die in der heutigen IT-Branche stark nachgefragt sind. Data Engineering ist ein wichtiger Bestandteil, der die Grundlage für erfolgreiche Data Science Projekte schafft.

Der Kurs konzentriert sich darauf, Ihnen vertraute "klassische" Aspekte der Datenaufbereitung und -speicherung zu vermitteln und Sie Schritt für Schritt mit den neuen Möglichkeiten und Anforderungen vertraut zu machen. Durch praktische Aufgabenstellungen werden Sie intensiv üben und so Ihr Wissen praxisnah vertiefen.

Diese Schulung richtet sich an Auf- und Umsteiger, die bereits Erfahrungen mit der Nutzung von Data Warehouses und der Anwendung von Business Intelligence gesammelt haben. Egal ob Sie Ihre vorhandenen Kenntnisse erweitern oder sich in Richtung Data Engineering spezialisieren möchten, dieser Kurs bietet Ihnen wertvolle Einblicke und praxisorientiertes Training, um als erfolgreicher Data Engineer zu agieren.

Zielgruppe

• (IT-)Entwickler
• (IT-)Administratoren
• (Fach-)Anwender

Voraussetzungen

• Praktische Erfahrungen im Umgang mit Business Intelligence und/oder Data Warehouses
• Grundkenntnisse in einer beliebigen Programmiersprache (bevorzugt Java oder Python)

Agenda

Modul 1: Einführung. Was ist Data Engineering und worin besteht das Profil eines Data Engineers?

Um neues Wissen aus Daten aufbereiten zu können, müssen diese nicht nur in geeigneter Weise aufbereitet und bereitgestellt, sondern manchmal auch erst gefunden werden. Wenn für Data Science das Gleichnis eines Labors gilt, ist Data Engineering der Maschinenraum, der das Labor mit den nötigen Geräten versorgt und ständig erweitert werden muss.

Das ist weit mehr, als ein traditioneller Spezialist für ETL (Extraktion, Transformation und Laden) bisher leisten musste. Irgendwo zwischen den Eckpunkten Architektur, Administration und Software-Entwicklung verorten die meisten das Bild vom Data Engineer. In diesem Abschnitt wird auf verschiedene aktuelle Interpretationen und Abgrenzungen eingegangen und Fragen wie beispielsweise Was ist ein Data Engineer? und Welche Anforderungen sind an einen Data Engineer zu stellen? beantwortet.

Modul 2: Moderne Informations-Architekturen im Zeitalter von Big Data.

Die moderne Verarbeitung von Informationen muss nicht nur große Datenmengen handhaben können, sondern unter Umständen auch in der Lage sein, zeitnah Ergebnisse bereit zu stellen. Dies ist mit dem klassischen Architekturansatz nicht lösbar und so sind verschiedene Architekturansätze entstanden, die alle auf einer verteilten Speicherung und Verarbeitung der Daten beruhen und den unterschiedlichsten Anforderungen gerecht werden.

In diesem Modul lernen die Teilnehmer auf Hadoop basierende Architekturen kennen, die entweder für die Stapelverarbeitung oder die Verarbeitung nahe Echtzeit eingesetzt werden können sowie eine Kombination aus beiden Anforderungen.

Die Teilnehmer aktivieren in einer praktischen Übung ihre individuelle Arbeitsumgebung auf der Grundlage eines virtualisierten Hadoop-Clusters.

Modul 3: Die Speicherung von Daten im Zeitalter von Big Data.

Die traditionelle Speicherung von Daten in „strukturierter“ Form auf einem zentralen Server hat enorm an Bedeutung verloren. Heute speichert man die Daten verteilt und zumeist nur gering strukturiert, immer öfters aber auch in der Cloud.

In diesem Abschnitt lernen die Teilnehmer das verteilte Dateisystem HDFS lernen sowie verschiedene Möglichkeiten der Datenhaltung in NoSQL-Datenbanken.

Die gewonnenen Erkenntnisse werden in praktischen Übungen (Labs) vertieft.

Modul 4: Die Aufbereitung von Daten im Zeitalter von Big Data.

Je nach gewählter Architektur stehen sowohl für die Stapelverarbeitung als auch für die permanente Aufbereitung von Daten unterschiedliche Konzepte und Komponenten zur Verfügung. Für die Stapelverarbeitung kommt immer noch recht häufig MapReduce zum Einsatz, welches entweder direkt oder in Form von darauf aufsetzenden Werkzeugen (wie beispielsweise Pig) genutzt wird. Für die permanente Aufbereitung von Daten wird in der Regel ein Queue-basierter Ansatz auf der Basis von Kafka verfolgt.

Darüber hinaus stehen vollständige IDEs (Integrated Development Environments) für die Aufbereitung von Daten für Big Data zur Verfügung. Neben den traditionellen ETL-Anbietern wie beispielsweise Talend oder Pentaho, die ihre Angebote entsprechend erweitert haben, sind es vor allem neue Konzepte, wie sie zum Beispiel mit der Open Source-Lösung NiFi umgesetzt werden.

Die Teilnehmer machen sich mit den aufgeführten Komponenten vertraut, die ausführlich demonstriert werden. Entsprechend der Orientierung der Lab-Plattform lösen die Teilnehmer zahlreiche praktische Aufgabenstellungen.

Modul 5: Die Evaluierung von Daten im Zeitalter von Big Data.

Für die Evaluierung von Daten im Kontext von Big Data stehen eine Vielzahl von Möglichkeiten je nach Datengrundlage und favorisierter Anwendung zur Verfügung. Die vertrauteste Form bietet immer noch die SQL-basierte Evaluierung, die unter der Voraussetzung von definierten Datenstrukturen mit Werkzeugen wie Hive, Kudu, Phoenix oder Impala möglich ist. Darüber hinaus steht mit Spark SQL eine mächtige Engine zur Verfügung, mit der in einer interaktiven Konsolenanwendung SQL-Abfragen ausgeführt werden können.

Die Teilnehmer machen sich mit den aufgeführten Komponenten vertraut, die ausführlich demonstriert werden. Zusätzlich werden Alternativen im Überblick vorgestellt, die auf einem nicht SQL-basierten Ansatz beruhen.

Entsprechend der Orientierung der Lab-Plattform lösen die Teilnehmer praktische Aufgabenstellungen neben Hive und Spark SQL mit der Komponente Phoenix (Hortonworks) oder mit Kudu und Impala (Cloudera).

Modul 6: Programmierung im Zeitalter von Big Data.

Im Kontext von Big Data haben sich eine Vielzahl von Programmiersprachen etabliert, wovon im produktiven Umfeld die Sprache Java und in bestimmten Umfang auch Scala dominieren. Mittlerweile kommt jedoch auch verstärkt Python in der Produktion zum Einsatz, weil die Performance-Nachteile deutlich reduziert werden konnten.

Da der Zugriff von der Konsole bereits im Modul 5 thematisiert wurde und für produktive Anwendungen kaum in Frage kommt, wird in diesem Modul der Schwerpunkt auf die Sprachen Python und Java gelegt.

Die Teilnehmer machen sich mit den Basis-Konstrukten von Python und Java vertraut und lernen Notebook-Anwendungen wie beispielsweise Jupyter, Zeppelin oder die Cloudera Data Science Workbench und NiFi kennen.

Entsprechend der Orientierung der Lab-Plattform lösen die Teilnehmer praktische Aufgabenstellungen mit dem Data Framework von Hortonworks der Cloudera Data Science Workbench.

Modul 7: Data Governance im Zeitalter von Big Data.

Exakte Metadatenbeschreibungen, Hohe Datenqualität, Zugriffsbeschränkungen auf die Daten sowie Kontrollmöglichkeiten für Datenzugriffe sind nur einige wenige Aspekte, die unter dem Begriff Data Governance zusammengefasst werden und die im Zeitalter von Big Data eine völlig neue Dimension erhalten. Die Teilnehmer machen sich mit den Anforderungen, den technischen Möglichkeiten, aber auch den praktischen Schwierigkeiten vertraut, die mit der Umsetzung von Data Governance verbunden sind und lernen verschiedene Hilfsmittel kennen.

Entsprechend der Orientierung der Lab-Plattform lösen die Teilnehmer praktische Aufgabenstellungen zu den Themen Security, Auditing und Data Quality mit den Komponenten der jeweiligen Distribution.

Modul 8: Die produktive Bereitstellung von Daten im Zeitalter von Big Data.

Am Ende steht die dauerhafte Bereitstellung von Daten für die produktive Verwendung. Dazu sind neben den funktionalen Aspekten – genau wie im klassischen Data Warehouse-Vorbild – eine Vielzahl von nichtfunktionalen Anforderungen zu erfüllen.

In diesem Modul werden diese nichtfunktionalen Anforderungen im Kontext von Big Data in den Mittelpunkt gestellt und ausführlich demonstriert.

Entsprechend der Orientierung der Lab-Plattform lösen die Teilnehmer praktische Aufgabenstellungen zu den Themen BackUp, Logging, Überwachung und Benachrichtigung mit den Komponenten der jeweiligen Distribution.

Open Badge - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erlangen Sie nicht nur Fachkenntnisse und Fähigkeiten, sondern bekommen zusätzlich zu Ihrem Teilnahmezertifikat ein Open Badge als digitalen Nachweis Ihrer Kompetenz.

Sie können diesen in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com Konto abrufen. Ihre verdienten Badges lassen sich problemlos in sozialen Netzwerken integrieren und weitergeben.

Mehr zu den Vorteilen von Badges

Kurz vor Durchführung