Modern Open Source Data Warehouse

Dieser Kurs bietet eine umfassende Einführung in moderne Data Warehouse Architekturen sowie praktische Übungen zur Datenintegration, -analyse und -visualisierung mit Hilfe von Open Source Technologien. Sie lernen anhand praktischer Beispiele in diesem Kurs die wichtigsten Open Source Technologien, wie ClickHouse, Trino, Airflow kennen und erhalten einen Überlbick über die Einsatzmöglichkeiten in verschiedenen Daten Architekturen wie Data Warehouse, Data Lake und Data Mesh.

Trainer und Dozenten

Uli Zellbeck ist erfahrener Trainer und verfügt über 25 Jahre Erfahrung in der IT-Branche. Als Senior Data Architect bringt er ein tiefgreifendes Know-how im Aufbau von Datenarchitekturen mit. Seine Expertise erstreckt sich über verschiedene Bereiche der Informationstechnologie, und er hat sich insbesondere auf die Entwicklung fortschrittlicher Datenlösungen on Premise und in der Cloud spezialisiert.

Die Teilnehmer können von seinem reichen Erfahrungsschatz profitieren, während er praxisnahe Einblicke in den Aufbau von Datenarchitekturen vermittelt.

Voraussetzungen

Die Teilnehmenden sollten grundlegende Kenntnisse im Umgang mit Datenbanken und Datenverarbeitung haben sowie ein Verständnis für grundlegende Konzepte der Datenarchitektur mitbringen. Ein gewisses Verständnis für SQL und Datenabfrage ist von Vorteil, aber nicht zwingend erforderlich.

Inhalt

Tag 1 Vormittag
- Einführung
  - Welche Eigenschaften hat ein Modernes Data Warehouse?
  - Welche Challenges und Lösungen bietet diese Architektur?
- Überblick über Open Source Data Warehouse
  - Datenspeicherung (PostgreSQL, ClickHouse, Apache Doris)
  - Datenabfrage (Trino)
  - ETL (dlt (data load tool), dbt (Data Build Tool), Apache Airflow)
  - Visualisierung (Apache Superset)
- Daten-Architekturen und Lösungen
  - Data Warehouse
  - Data Lake
  - Data Mesh
  - Realtime-Integration
Tag 1 Nachmittag
- Einführung in ClickHouse
  - Architektur und Funktionsweise
  - Datenimport /-export
- Praktische Übung mit ClickHouse
  - Erstellen von Tabellen und Datensätzen
  - Ausführen von Abfragen und Analysen
Tag 2 Vormittag
- Datenintegration mit dlt und dbt
  - Verwendung von dlt für Datenpipelines und -integrationen
  - Praktische Übung
- Datenauswertung mit Superset
  - Einführung
  - Erstellung von Dashboards und Visualisierungen
- Sicherheit und Datenschutz im Data Warehouse
  - Grundlagen der Sicherheit im Data Warehouse
  - Datenschutzrichtlinien und Compliance
Tag 2 Nachmittag
- Am Nachmittag werden wir ein echtzeitfähiges Data Warehouse mit Hilfe von ClickHouse und Kafka erstellen. Sie werden lernen, wie man Datenströme erfasst, verarbeitet und in einem Data Warehouse speichert, um Echtzeit-Analysen und -Berichte zu ermöglichen.
Tag 3 Vormittag
- Einführung in den Data Lakehouse-Ansatz
  - Konzept und Architektur des Data Lakehouse
  - Unterschiede zum traditionellen Data Warehouse und zum reinen Data Lake-Ansatz
- Einsatz von Trino für datenübergreifende Abfragen
  - Einrichtung und Konfiguration von Trino
  - Durchführung von Abfragen über verschiedene Datenspeicher hinweg
- Datenmodellierung und Transformation mit dbt
  - Erstellung von Datenmodellen für den Data Lakehouse-Ansatz
  - Transformation von Rohdaten in konsumierbare Datensätze
- Integration von verschiedenen Datenspeichern
  - Einbindung von PostgreSQL, MongoDB und MinIO in das Data Lakehouse
  - Verwendung von Apache Iceberg zur Verwaltung von Datenspeicherungen
Tag 3 Nachmittag
- Am Nachmittag erstellen wir eine Data Lakehouse Architektur, um die Theorie in die Praxis umzusetzen. Wir sprechen über mögliche Use Cases und es bietet sich die Möglichkeit für die Teilnehmer, diesen theoretischen Ansatz praktisch zu erleben.

Kurszeiten

Wer möchte, reist bis 22 Uhr am Vortag an und nutzt den Abend bereits zum Fachsimpeln am Kamin oder im Park.

An Kurstagen gibt es bei uns ab 8 Uhr Frühstück.

Unsere Kurse beginnen um 9 Uhr und enden um 18 Uhr.

Neben den kleinen Pausen gibt es eine Stunde Mittagspause mit leckerem, frisch in unserer Küche zubereitetem Essen.

Nach der Schulung anschließend Abendessen und Angebote für Fachsimpeln, Ausflüge uvm. Wir schaffen eine Atmosphäre, in der Fachleute sich ungezwungen austauschen. Wer das nicht will, wird zu nichts gezwungen und findet auch jederzeit Ruhe.

Preis und Dauer

3 Tage,
1.150,00 € + 19% MwSt. = 1.368,50 €

Übernachtungsoptionen

Termine und Anmeldung

7. April 2025, 3 Tage
Modern Open Source Data Warehouse anmelden
7. April 2025, 5 Tage
Modern Open Source Data Warehouse und Einführung in Apache Airflow anmelden
1. September 2025, 3 Tage
Modern Open Source Data Warehouse anmelden
1. September 2025, 5 Tage
Modern Open Source Data Warehouse und Einführung in Apache Airflow anmelden

Haben Sie einen anderen Wunschtermin?