Apache Hive

Ziele

In dieser 2-tägigen Schulung "Apache Hive" lernen Sie die Wiederentdeckung strukturierter Daten und die Nutzung der SQL-ähnlichen Abfragesprache im Hadoop-Ökosystem. Hive dient als universelle Schnittstelle für den Zugriff auf strukturierte Daten in Hadoop und erfreut sich weiterhin großer Beliebtheit. Der Kurs vermittelt theoretische Grundlagen sowie praktische Anwendungen durch aufeinander aufbauende Übungen. Die praktischen Übungen werden entweder mit Cloudera CDH 5.12 oder Hortonworks HDP 2.6 durchgeführt. Der Schwierigkeitsgrad beträgt 300 und der Anteil eigenständiger Übungen liegt bei etwa 50%.

Zielgruppe

• (IT-)Architekt
• (IT-)Entwickler

Voraussetzungen

• Praktische Erfahrung in der IT-Informationsverarbeitung
• Kenntnisse im Einsatz relationaler Datenbanken
• Kenntnisse über Big Data werden vorausgesetzt

Agenda

Strukturen – Die logische Sicht auf die Daten in Hive

Hive verwendet eine Metadatenschicht zur Beschreibung von Datenstrukturen, die die aus dem relationalen Umfeld vertrauten Begriffe wie beispielsweise Tabellen und Spalten verwendet. Die Teilnehmer machen sich mit dem logischen Prinzip der Datenhaltung in Hive vertraut, definieren in einer Übungsumgebung eigene Datenstrukturen und lernen, wie man mit Konsolen-Kommandos Daten eingeben und auslesen kann.

Storage und Access – Der physische Zugriff auf die Daten mit Hive

Obwohl Hive „nur“ Daten aus HDFS verarbeitet, gibt es eine Reihe von Möglichkeiten, wie dies geschieht. Darüber hinaus gibt es verschiedene Ansätze, wie diese Daten abgefragt werden.

Die verschiedenen Möglichkeiten werden in diesem Abschnitt vorgestellt und demonstriert. Eine praktische Übung vertieft das Verständnis, wie Daten in Hive gespeichert und verarbeitet werden.

Praxis 1 - Das Design von Datenstrukturen für Hive

Hive besitzt einen Optimizer und ist grundsätzlich in der Lage, einen „besseren“ Ausführungsplan auszuwählen. Trotzdem ist man gut beraten, einige elementare Regeln zu berücksichtigen und Datenhaltung und Abfragen aufeinander abzustimmen.

Praxis 2 - Programmatischer Zugriff auf Daten

Hive wird häufig aus der CLI (Command Line Interface) heraus oder via JDBC/ODBC genutzt, aber auch ein programmatischer Zugriff über das Java API ist möglich. Die Nutzung dieses APIs wird praktisch angewendet.

Praxis 3 - Betrieb von Hive im Hadoop Cluster

Bei der Nutzung von Hive in einem Hadoop-Cluster sind eine Reihe von Rahmenbedingungen zu bedenken, die zumeist das zugrundeliegende Dateisystem betreffen - beispielsweise die Berücksichtigung möglicher Ausfallszenarien, BackUp-Szenarien wie Replikation und Snapshots sowie Desaster Recovery, der Bulk Load von Daten, die Ressourcenbeschränkung mit Quotas, die Zugriffsbeschränkung mittels Security und andere. Die Teilnehmer machen sich anhand praktischer Beispiele mit den Möglichkeiten vertraut.

Praxis 4 - Optimierung von Hive im Hadoop Cluster

In diesem Praxisteil wird der Schwerpunkt auf praktische Aspekte gelegt und werden Optimierungshinweise gegeben. Dabei werden unter anderem Fragestellungen des „richtigen“ Datenformates, die Vor- und Nachteile der Komprimierung von Daten sowie der Abwägung der Verwendung interner oder externer Tabellen evaluiert und beantwortet.

Open Badge - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erlangen Sie nicht nur Fachkenntnisse und Fähigkeiten, sondern bekommen zusätzlich zu Ihrem Teilnahmezertifikat ein Open Badge als digitalen Nachweis Ihrer Kompetenz.

Sie können diesen in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com Konto abrufen. Ihre verdienten Badges lassen sich problemlos in sozialen Netzwerken integrieren und weitergeben.

Mehr zu den Vorteilen von Badges

Kurz vor Durchführung