Big Data - Nathan Marz

. .

Résumé :

• Einf?hrung in Big-Data-Systeme und -Technologien
• Gro?e Datenmengen speichern und verarbeiten
• Einsatz zahlreicher Tools wie Hadoop, Apache Cassandra, Apache Storm uvm.

Daten m?ssen mittlerweile von den meisten Unternehmen in irgendeiner Form verarbeitet werden. Dabei k?nnen sehr schnell so gro?e Datenmengen entstehen, dass herk?mmliche Datenbanksysteme nicht mehr ausreichen. Big-Data-Systeme erfordern Architekturen, die in der Lage sind, Datenmengen nahezu beliebigen Umfangs zu speichern und zu verarbeiten. Dies bringt grundlegende Anforderungen mit sich, mit denen viele Entwickler noch nicht vertraut sind.

Die Autoren erl?utern die Einrichtung solcher Datenhaltungssysteme anhand eines speziell f?r gro?e Datenmengen ausgelegten Frameworks: der Lambda-Architektur. Hierbei handelt es sich um einen skalierbaren, leicht verst?ndlichen Ansatz, der auch von kleinen Teams implementiert und langfristig betrieben werden kann.

Die Grundlagen von Big-Data-Systemen werden anhand eines realistischen Beispiels praktisch umgesetzt. In diesem Kontext lernen Sie neben einem allgemeinen Framework zur Verarbeitung gro?er Datenmengen auch Technologien wie Hadoop, Storm und NoSQL-Datenbanken kennen.

Dieses Buch setzt keinerlei Vorkenntnisse ?ber Tools zur Datenanalyse oder NoSQL voraus, grundlegende Erfahrungen im Umgang mit herk?mmlichen Datenbanken sind aber durchaus hilfreich.

• Big-Data-Systeme und -Technologien
• Echtzeitverarbeitung sehr gro?er Datenmengen
• Lambda-Architektur
• Batch-Layer: Datenmodell, Datenspeicherung, Skalierbarkeit
• Stapelverarbeitungsprozesse
• Modellierung von Stammdatens?tzen
• Implementierung eines Graphenschemas mit Apache Thrift
• Einsatz von MapReduce
• JCascalog zur Implementierung von Pipe-Diagrammen
• Serving-Layer: Konzepte und Einsatz von ElephantDB
• Speed-Layer: Berechnung und Speicherung von Echtzeit-Views
• Einsatz von Hadoop, Apache Cassandra, Apache Kafka und Apache Storm
• Streamverarbeitung mit Trident