Data Engineering 2
ds.de2.p, 24 Lektionen in FS2024
Lektionen (alle vorbei)
Und 12 weitere. Alle im Stundenplan
Modulbeschreibung 20HS
Die verschiedenen Themen des Data Engineering sind existenzielle Bausteine erfolgreicher Datenprodukte und Datenanalyseprojekte. In diesem Modul lernen Sie Voraussetzungen für dessen Einsatz und verschiedene wichtige Methoden des Data Engineering kennen. Es werden theoretische Grundlagen, aber auch praktische Umsetzungen der Methoden gelehrt.
- ECTS
- 4
- Institut
- 119898: T InIT
- Verantwortung
- Weiler Andreas (wele) (ad interim)
- Sprache
- (X) Deutsch ( ) Englisch
Modulinhalte
Die Digitalisierung von Prozessen und Umgebungen stellt Informatiker vor neue Herausforderungen. Die Softwareentwicklung steht hierbei nicht mehr im Vordergrund, sondern die fachgerechte Verarbeitung und Analyse von verschiedenen Datenarten und Mengen. Hierzu ist es unerlässlich, einen gewissen Grunderfahrungsschatz im Bereich des Data Engineering und der wichtigsten Methoden aus diesem Bereich zu besitzen. Dieses Modul bietet eine praktische Einführung in elementares Data Engineering mittels Methoden zur Verarbeitung von strukturierten und unstrukturierten Daten. Der Fokus liegt hierbei auf einem Überblick und sauberer Methodik; Beweise und Details der Verfahren werden späteren Kursen überlassen. Das Gelernte wird von Teilnehmenden selbständig anhand praktischer Arbeiten vertieft. Folgende Inhalt werden im Modul behandelt: Storing Structured Data: Relational NoSQL Big Data / Hadoop etc. Transforming Data: ETL Jobs Schedulers Cleaning (Noise removal, Outlier detection, Interpolation) Anonymization Sourcing Data: APIs Web crawling, Web scraping Other Sources Querying Data: Advanced Queries Query Optimization Distributed Queries Ingesting Data: Batch vs. Real-Time Data Streams Queues Begleitende Praktika Die Vorlesung wird begleitet durch praktische Übungen an realen Datensätzen mittels Python und verwandten Tools und Bibliotheken. Etwa die Hälfte des Semesters arbeiten die Teilnehmenden in kleinen Gruppen an individuellen praktischen Arbeiten, die am Ende präsentiert und bewertet werden.
Voraussetzungen
tbd
Versionen
- 20HSt.BA.DS.DE2.20HS