Databricks Data Engineer (m/w/d)

• work Freelance

• north_east Senior

• location_on Köln

• event Beginnt 1.12.2026

• schedule 12 Monate

Für unseren direkten Endkunden suchen wir ab sofort einen Senior Databricks Data Engineer (m/w/d).

Rahmendaten

• Start: ab sofort, Laufzeit bis 31.12.2026 (Verlängerung geplant, langfristige Zusammenarbeit erwünscht)

• Einsatzort: Köln, ca. 40 % vor Ort (2 Tage pro Woche) und 60 % remote

• Wohnort: maximal 100 km um Köln

• Auslastung: Vollzeit

Aufgabenbeschreibung

Im Rahmen der Tätigkeit als Databricks Data Engineer wird das bestehende Oracle-/Informatica-DWH in eine moderne Azure-Lakehouse-Architektur auf Basis von Databricks überführt. In enger Zusammenarbeit mit den Fachbereichen und weiteren Data Engineers entstehen robuste und skalierbare Datenlösungen. Gearbeitet wird iterativ und kundenorientiert in einem etablierten Scrum-Setup.

Zu den Aufgaben gehören insbesondere:

• Umsetzung und Weiterentwicklung der Azure-/Databricks-Zielarchitektur (Lakehouse)

• Migration bestehender ETL-Prozesse (Informatica/Oracle) in performante Databricks-Pipelines

• Entwicklung von Datenpipelines mit Python, PySpark und SQL

• Aufbau und Pflege von Delta-Lake-Strukturen sowie Pipelines mit DLT/SDP

• Umsetzung von Datenmodellen und Historisierung, unter anderem nach SCD2

• Sicherstellung von Datenqualität und Governance, unter anderem mit Unity Catalog und Berechtigungsmodellen

• Performance-Optimierung bei der Verarbeitung großer Datenmengen

• Begleitung von Tests, Parallelbetrieb und Cutover

• Abstimmung mit Fachbereichen und anderen Entwicklungsteams sowie Dokumentation der Arbeitsergebnisse

Anforderungen

• Fundierte Praxis in der Umsetzung von Lakehouse-Architekturen sowie im Aufbau und Betrieb von Databricks

• Tiefe Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP, Berechtigungsmodellen und Governance-Mechanismen

• Fundierte Erfahrung in Python, PySpark und SQL sowie in der Performance-Optimierung großer Datenmengen

• Souveräner Einsatz von KI-basierten Tools zur Effizienzsteigerung in der Entwicklung

• Fundierte Erfahrung im klassischen BI-/DWH-Umfeld, also in Datenhaltung, Datenmodellierung, Datentransport und Historisierung nach SCD2

• Erfahrung als Entwickler in einem Scrum-Team

• Idealerweise Erfahrung in der Ablösung klassischer ETL-Strecken (z. B. Informatica) und deren Überführung nach Databricks

• Ausgezeichnete Deutschkenntnisse in Wort und Schrift sowie sichere, klare Kommunikation mit Fachbereichen und Entwicklungsteams

Ihr Ansprechpartner

Mohammed El Seblani phone_in_talk +49 2327 219 0042 bewerbung@vp-systeme.de