Big Data Project
DS.PM4, 0 Lektionen in HS2026
Modulbeschreibung 20HS
Der Schwerpunkt dieses Moduls liegt darauf, praktische Erfahrungen im Umgang mit Big-Data-Problemen zu sammeln. Das Modul basiert auf den theoretischen Grundlagen von "Data Engineering 1" und "Data Engineering 2". Die Studierenden werden ausgewählte Themen dieser Grundlagenkurse analysieren und dann skalierbare Anwendungen unter Verwendung der neuesten Big-Data-Technologien implementieren.
- ECTS
- 4
- Institut
- 119898: T InIT
- Verantwortung
- Jonathan Fürst
- Sprache
- (X) Deutsch (X) Englisch
Modulinhalte
Die Implementierung eines typischen Big Data-Projekts könnte die folgenden Schritte erfordern: • Wählen Sie ein zu lösendes Problem aus, z.B. analysieren Sie die Popularität von Filmen in den letzten zehn Jahren und vergleichen Sie die Unterschiede zwischen Brasilien, Frankreich und den USA. • Wählen Sie die Datensätze aus, z.B. verwenden Sie den Inhalt aus der Internet-Filmdatenbank (IMDB), die in einer relationalen Datenbank gespeichert ist. • Reichern Sie die Informationen über Filme mit Dokumenten an, die im Internet gefunden wurden. • Wählen Sie ein Basissystem mit traditioneller Technologie, z.B. verwenden Sie PostgreSQL, um die in der IMDB gespeicherten Informationen zu analysieren, oder verwenden Sie Ihr bevorzugtes Information Retrieval System, um die Textdokumente zu den Filmen zu analysieren. • Wählen Sie ein hochmodernes Big-Data-System zum Vergleich mit den Baselines. • Implementieren Sie die Anwendung sowohl mit dem Basisliniensystem als auch mit dem Big-Data-System. • Analysieren Sie den Leistungsunterschied der beiden Systeme anhand kleiner Datenmengen. • Erhöhen Sie den Umfang der Daten beträchtlich und untersuchen Sie die Auswirkungen auf die Leistung. Die Studierenden können jedes Thema ihres Interesses, jeden Datensatz oder jede vorhandene Codebasis frei wählen. Beispielsweise könnten die Studierenden ein Python-Programm wählen, das auf einem einzigen Computer läuft und einen kleinen Datensatz mit Tausenden von Datensätzen verwendet. Durch die Neuimplementierung des Programms unter Verwendung der Big-Data-Technologie sollten die Schülerinnen und Schüler demonstrieren, wie man eine skalierbare Anwendung erstellt, die auf großen Datensätzen auf Dutzenden von Computern mit großen Datensätzen läuft. Durch die Implementierung des Big-Data-Projekts lernen die Studenten die folgenden Aspekte kennen: • Funktionsweise von Big-Data-Systemen: - Welche Art von Problemen kann ich mit Big-Data-Systemen lösen? - Welche Probleme eignen sich nicht für Big-Data-Systeme? - Welche typischen datenwissenschaftlichen Algorithmen werden von Big- Data-Systemen unterstützt? • Performance-Aspekte von Systemen mit Großen Daten: - Wie muss ich meine Anwendung neu schreiben, wenn die Größe des Datensatzes um den Faktor 10, 100, 1000 usw. zunimmt? - Welche Auswirkungen hat es auf die Performance, wenn die Anzahl der Benutzer um den Faktor 10, 100, 1000 usw. zunimmt? - Wie kann ich die Antwortzeit konstant halten? - Welche Art von Optimierungsschritten sind für die Implementierung einer Lösung im Unternehmensmaßstab erforderlich? • Benutzerfreundlichkeit von Big Data-Systemen: - Wie sieht die Lernkurve der Big-Data-Technologie im Vergleich zur traditionellen Technologie aus? - Lohnt es sich für ein kleines, mittleres oder großes Unternehmen, in die Big-Data-Technologie zu investieren, wenn die Studierenden eine spezifische Anwendung implementiert haben?
Voraussetzungen
Besuch von Data Engineering 1 und 2
Dies ist die Beschreibung der Version 20HS. Die aktuelle Version (26HS) ist öffentlich nicht publiziert.
Versionen
- 26HSt.BA.DS.PM4.26HSohne Beschreibung
- 20HSt.BA.DS.PM4.20HS