Apache HDFS

Ziele

In dieser 2-tägigen Schulung "Apache HDFS" lernen Sie das Kernstück von Hadoop kennen: ein leistungsstarkes, robustes und skalierbares Dateisystem (HDFS). Der Kurs vermittelt die Unterschiede zwischen HDFS und klassischen Dateisystemen sowie effektive Einsatzmöglichkeiten. Die Inhalte basieren auf Hadoop Version 2.7.x, wie sie in den aktuellen Distributionen von Cloudera (CDH 5.12) und Hortonworks (HDP 2.6) verwendet wird. Die praktischen Übungen werden entsprechend der Ankündigung entweder mit Cloudera CDH 5.12 oder Hortonworks HDP 2.6 durchgeführt. Der Schwierigkeitsgrad beträgt 300 und umfasst PowerPoint-Präsentationen, Live-Demos und eigenständige Übungen (Labs) mit einem Anteil von etwa 45%

Zielgruppe

• (IT-)Architekt
• (IT-)Entwickler
• (Fach-)Anwender
• Projektmanager

Voraussetzungen

• IT-Grundkenntnisse
• Grundkenntnisse über Big Data und Hadoop

Agenda

Strukturen – Die logische Sicht auf die Daten in HDFS

Das verteilte Dateisystem HDFS ist das Herzstück von Hadoop. Die Teilnehmer machen sich mit den logischen Prinzipien der Datenhaltung in HDFS vertraut, definieren in einer Übungsumgebung eigene Datenstrukturen und lernen, wie man mit Konsolen-Kommandos Dateien erstellen und auslesen kann.

Storage - die physische Sicht auf die Daten in HDFS

Die Besonderheit von HDFS ist die verteilte Datenhaltung über verschiedene Server-Instanzen, den sogenannten Data Nodes. Die Teilnehmer lernen hier das Prinzip und die Organisation der physischen Datenhaltung im darunterliegenden Dateisystem des Betriebssystems kennen und wie die Verfügbarkeit der Daten sichergestellt wird. Die Erkenntnisse werden durch eine praktische Übung vertieft.

Praxis 1 - Programmatischer Zugriff auf die Daten im HDFS

HDFS ist in Java programmiert, weshalb diese Programmiersprache allererste Wahl für produktive Anwendungen ist. Darüber hinaus existieren verschiedene Schnittstellen, die einen Zugriff mit anderen Sprachen oder Werkzeugen ermöglichen.

Praxis 2 - Verwaltung von HDFS im Hadoop Cluster

Bei dem Betrieb eines Hadoop-Clusters sind eine Reihe von Anforderungen zu bedenken, beispielsweise die Berücksichtigung möglicher Ausfallszenarien, BackUp-Szenarien wie Replikation und Snapshots sowie Desaster Recovery, der Bulk Load von Daten, die Archivierung, die Ressourcenbeschränkung mit Quotas, die Zugriffsbeschränkung mittels Security und andere. Die Teilnehmer machen sich anhand praktischer Beispiele mit den Möglichkeiten vertraut.

Praxis 3 - Optimierung von HDFS im Hadoop Cluster

In diesem Praxisteil wird der Schwerpunkt auf praktische Aspekte gelegt und werden Optimierungshinweise gegeben. Im Mittelpunkt stehen allgemeine Fragestellungen wie: Was sind die „richtigen“ Dateien für HDFS? Aber auch Orientierungshilfen für das „richtige“ Sizing sowie die „richtigen“ Parameter für HDFS werden gegeben. Ein praktischer Teil zu Logging und Monitoring für das HDFS rundet diesen Abschnitt ab.

Open Badge - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erlangen Sie nicht nur Fachkenntnisse und Fähigkeiten, sondern bekommen zusätzlich zu Ihrem Teilnahmezertifikat ein Open Badge als digitalen Nachweis Ihrer Kompetenz.

Sie können diesen in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com Konto abrufen. Ihre verdienten Badges lassen sich problemlos in sozialen Netzwerken integrieren und weitergeben.

Mehr zu den Vorteilen von Badges

Kurz vor Durchführung