Quantum GmbH – Skalierbares Data Warehouse mit Databricks

Herausforderung: Legacy-Datenbank mit begrenzter Skalierbarkeit

Quantum GmbH, ein führender Energiedienstleister, verwaltet große Mengen an Transaktionsdaten zur Berechnung verschiedener Kennwerte für interne Visualisierungstools. Die bisherigen Prozesse liefen auf einer Oracle-Datenbank, die jedoch Skalierbarkeits- und Performance-Grenzen erreichte. Insbesondere die bestehende SOAP-Schnittstelle, die XML-Daten aus der Oracle-Datenbank extrahierte, war nicht optimal für moderne datengetriebene Analysen und maschinelles Lernen.

Das Ziel war es, eine moderne, skalierbare und leistungsfähige Data-Warehouse-Infrastruktur aufzubauen, um effizientere Analysen und Berichte zu ermöglichen.

Lösung: Migration von Oracle zu Databricks mit optimierten ETL-Pipelines

Um Quantum eine zukunftssichere und skalierbare Lösung zu bieten, wurde die gesamte Dateninfrastruktur auf Databricks umgestellt.

Die wichtigsten Schritte der Migration:

• Entwurf und Aufbau eines skalierbaren Data Warehouses:

• Entwicklung und Optimierung von ETL-Pipelines mit PySpark:

• Einrichtung von CI/CD-Prozessen mit GitHub Actions:

• Datenmodellierung für Kennzahlen-Berechnungen:

• Strukturierte Speicherung von Transaktionsdaten mit optimierten Datenmodellen für performante Abfragen.

• Verarbeitung von XML-Dateien aus der SOAP-Schnittstelle mithilfe leistungsstarker PySpark-Pipelines, die effizient und skalierbar sind.

• Automatisierte Deployment-Prozesse für die ETL-Pipelines, um kontinuierliche Verbesserungen und Versionierung sicherzustellen.

• Berechnung wichtiger Kennwerte aus den Transaktionsdaten, um die Daten für interne Tools bereitzustellen.

Ergebnis: Skalierbarkeit, Performance & Automatisierung

Dank der Migration nach Databricks profitiert Quantum GmbH nun von einer hochskalierbaren, performanten und automatisierten Dateninfrastruktur.

Verbesserte Datenverarbeitung: Die neuen ETL-Pipelines können große Mengen an XML-Daten effizient verarbeiten, was die Gesamtperformance der Datenbereitstellung erheblich steigert.

Automatisierte Prozesse: Die Einführung von CI/CD mit GitHub Actions ermöglicht es, Änderungen schneller und sicherer bereitzustellen, wodurch die Wartung und Weiterentwicklung erleichtert wird.

Bessere Analysen & Reporting: Mit optimierten Datenmodellen und schnellen Abfragen können verschiedene Kennwerte für interne Anwendungen effizient berechnet werden, was eine präzisere und schnellere Entscheidungsfindung ermöglicht.

Zukunftssicher & flexibel: Durch den Wechsel von Oracle zu Databricks ist Quantum nun für die zukünftige Skalierung und Erweiterung der Datenplattform bestens aufgestellt.