Big Data Architekturen - Überblick

Ziele

In dieser 2-tägigen Schulung "Big Data Architekturen - Überblick" lernen Sie moderne Ansätze zur Verarbeitung großer Datenmengen und die Bereitstellung zeitnaher Ergebnisse kennen. Der klassische Ansatz einer Client-Server-Architektur kann diese Anforderungen oft nicht erfüllen, weshalb verteilte Speicherung und Verarbeitung der Daten immer wichtiger werden. Das Seminar vermittelt Ihnen Kenntnisse über Hadoop-basierte Architekturen, die entweder für Stapelverarbeitung oder nahezu Echtzeitverarbeitung eingesetzt werden können, oder sogar eine Kombination beider Anforderungen bieten.

Zielgruppe

• Entscheider
• (IT-)Architekt
• Projektmanager

Voraussetzungen

• Praktische Erfahrung in der IT-Informationsverarbeitung
• Grundkenntnisse über Big Data und Hadoop

Agenda

Kurzer Überblick zum Hadoop Framework

Das Seminar startet mit einem kurzen Überblick zu den einzelnen Komponenten des Hadoop-Frameworks, ihrem aktuellen Entwicklungsstand und Ihrem Status in den beiden wichtigsten Hadoop-Distributionen von Cloudera und Hortonworks.

Kriterien für die Wahl der Architektur

Die wohl wichtigsten Stellschrauben für die auszuwählende Architektur sind Reaktionszeit, Datenmenge und Strukturtiefe. Während die Datenmenge primär Einfluss auf das Sizing des Hadoop-Clusters hat, bestimmen Strukturtiefe und Reaktionszeit, welche Komponenten des Frameworks bevorzugt zum Einsatz kommen und wie der Datenfluss zu organisieren ist.

Speicherung schwach strukturierter Daten

Für die Speicherung von schwach strukturierten Daten steht die Datenablage im verteilten Dateisystem HDFS zur Verfügung, welches in diesem Modul näher vorgestellt und demonstriert wird.

Speicherung strukturierter Daten

Strukturierte Daten können in Hadoop entweder im verteilten Dateisystem HDFS mit zugehöriger Metadaten-Beschreibung oder in einer verteilten Datenbank, beispielsweise HBase, abgespeichert werden. In diesem Modul werden die einzelnen Möglichkeiten näher beschrieben und demonstriert.

Architektur für die Stapelverarbeitung

Die traditionelle Verarbeitungsform ist die Stapelverarbeitung. Dies ist auch im Hadoop-Framework nicht anders und so stehen beispielsweise mit sqoop und MapReduce seit den ersten Versionen zwei Komponenten für die Datenbewirtschaftung und ihre Verarbeitung zur Verfügung.

In diesem Modul werden verschiedene Szenarien der Stapelverarbeitung für unterschiedliche Anwendungsfälle vorgestellt und demonstriert.

Architektur für die unmittelbare Verarbeitung

Für die unmittelbare Verarbeitung von Daten existieren unterschiedliche Ansätze. Zum einen können sehr kleine Stapel sehr schnell nacheinander verarbeitet werden und zum anderen können Daten in einen Puffer eingestellt werden, aus dem sie permanent entnommen und verarbeitet werden.

Beide Ansätze können mit Komponenten des Hadoop-Frameworks umgesetzt werden. In diesem Modul werden Lösungsansätze skizziert und demonstriert.

Gemischte Architekturen

Die Kombination aus Stapelverarbeitung und unmittelbarer Verarbeitung ist immer dann erforderlich, wenn einerseits aktuelle Auswertungen zeitnah benötigt und andererseits Auswertungen aus riesigen Datenbeständen benötigt werden.

Dieser als Lambda-Architektur bezeichnete Ansatz lässt sich mit Komponenten des Hadoop Frameworks umsetzen, benötigt aber besondere Sorgfalt in der Implementierung, wie in diesem Modul gezeigt wird.

Rückgekoppelte Architekturen

Rückgekoppelte Architekturen sind ein Spezialfall, in dem die Ergebnisse von Auswertungen wieder als Eingangsgrößen für spätere Analysen verwendet werden. Derartige Szenarien gewinnen insbesondere im Umfeld des Maschinellen Lernens und der Künstlichen Intelligenz zunehmend an Bedeutung.

In diesem Modul werden die grundsätzlichen Anforderungen skizziert und gezeigt, wie diese mit den im Hadoop-Framework verfügbaren Komponenten umgesetzt werden können.

Open Badge - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erlangen Sie nicht nur Fachkenntnisse und Fähigkeiten, sondern bekommen zusätzlich zu Ihrem Teilnahmezertifikat ein Open Badge als digitalen Nachweis Ihrer Kompetenz.

Sie können diesen in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com Konto abrufen. Ihre verdienten Badges lassen sich problemlos in sozialen Netzwerken integrieren und weitergeben.

Mehr zu den Vorteilen von Badges

Kurz vor Durchführung