Data Engineer (f/m/d) in Berlin

Deine Aufgaben

Wir suchen einen motivierten Data Engineer, der uns beim Aufbau des Streaming-Daten-Lakehouses der deutschen Regierung unterstützen möchte. Bei DKSR bauen wir ein urbanes Datenzentrum für Städte und Regionen, um ihnen zu helfen, ihre Daten effizienter zum Wohle aller zu nutzen. Derzeit betreiben wir unser Kernprodukt CIVORA für über 20 Städte und Regionen und haben noch viele Verbesserungen und neue Entwicklungen in Planung.

Du wirst dem Produktentwicklungsteam beitreten, um aktiv an der Erstellung und dem Betrieb der Dateninfrastruktur zu arbeiten, die CIVORA antreibt. Hand in Hand mit unserem Data Architect wirst du Konzepte und Entwürfe in produktionsbereite Systeme umsetzen. Du wirst auch die Möglichkeit haben, uns bei innovativen Anwendungsfällen zu unterstützen und den Weg für das Projektlieferteam und unsere fortschrittlichsten Nutzer zu ebnen.

Bitte beachte: Wir ziehen derzeit nur Kandidaten in Betracht, die bereits in Deutschland wohnen und rechtlich berechtigt sind, in Deutschland zu arbeiten. Leider können wir für diese Position keine Visumsponsoring oder Umzugshilfe anbieten.

Was du tun wirst:

• Zur kontinuierlichen Entwicklung der Dateninfrastruktur beitragen, die CIVORA antreibt - von Plattformkomponenten bis hin zu internen Tools.
• Mit Produkt- und Projektlieferteams zusammenarbeiten, um eine wiederverwendbare, skalierbare und gut dokumentierte Dateninfrastruktur zu gestalten.
• Datenpipelines (Batch & Streaming) entwerfen und pflegen, die mehreren Städten und Anwendungsfällen dienen.
• Das Projektlieferteam bei den komplexesten und kritischsten Anwendungsfällen unterstützen - dabei Best Practices und Designmuster festlegen, von denen alle lernen können.
• Sauberen, wartbaren Code schreiben – du bist sowohl Softwareentwickler als auch Data Engineer.
• Neue Ansätze vorschlagen und prototypisieren; bestehende Muster herausfordern, wenn du einen besseren Weg siehst – du wirst die Möglichkeit haben, Verantwortung zu übernehmen.

Dein Profil

Was du mitbringst:

• 1–3 Jahre relevante Erfahrung in der Datenverarbeitung und Softwareentwicklung.
• B.Sc. in Informatik, Data Science, Data Engineering oder einem verwandten Bereich (M.Sc. bevorzugt; gleichwertige Berufserfahrung ist ebenfalls akzeptabel).
• Python – Datenverarbeitung (pandas, NumPy, scikit-learn) sowie strukturierte Softwareentwicklung (modulares Design, saubere APIs, testbarer Code).
• SQL – Verständnis des relationalen Datenbankdesigns und sicheres Abfragen.
• Pipelines-Orchestrierung – praktische Erfahrung mit Apache Airflow oder ähnlichem.
• Streaming-Systeme – Vertrautheit mit dem Kafka-Protokoll oder ähnlichem.
• Docker – Containerisierung als Teil deines täglichen Workflows.
• Cloud & IaC – Kenntnisse über Cloud-Konzepte und Infrastructure-as-Code-Prinzipien (Helm, Terraform).
• Englisch – sicher in der mündlichen und schriftlichen Kommunikation.
• Kommunikation – proaktiver Teamplayer und direkter Kommunikator.
• Erfahrung mit agentischer Entwicklung (GitHub, CoPilot oder Claude ist ausreichend, keine Notwendigkeit für verrückte Sub-Agent-Workflows).

Nice to have:

• Kubernetes – Erfahrung mit Container-Orchestrierung und Cluster-Betrieb.
• Cloud-Plattformen – praktische Erfahrung mit AWS, Azure oder GCP.
• Zusätzliche Sprachen – in der Lage, Java, JavaScript, Rust oder Go neben Python zu lesen und zu verwenden.
• Erfahrung mit Teilen unseres Stacks – die Bereitschaft zu lernen, zu verstehen und zu betreiben, zählt mehr als das Abhaken jeder Box: Infra & Deployment: Helm, OpenTofu (Terraform), MinIO/SeaweedFS; Daten & Analytik: Apache Superset, Apache Iceberg (Lakekeeper-Katalog), Redpanda (Redpanda Connect, Kafka Connect), Trino, MLFlow.
• Deutsch – nicht erforderlich, aber sehr wertvoll für die Kommunikation mit externen Stakeholdern.

Wer du bist

Du möchtest nicht nur Code schreiben – du möchtest das Geschäftsproblem verstehen, die Anforderungen verfeinern, das System entwerfen und es soll von Bedeutung sein. Du bist der Typ Mensch, der sich in ein Problem vertieft, eine Lösung vorschlägt und sie dann tatsächlich baut und von Anfang bis Ende liefert. Du fühlst dich wohl dabei, eng mit einem Data Architect zusammenzuarbeiten, ohne bei jedem Schritt Unterstützung zu benötigen. Wenn etwas unklar ist, fragst du nach. Wenn etwas falsch ist, sagst du es. Wenn du nicht einverstanden bist, sagst du nein. Du legst Wert darauf, Dinge gut zu machen, weißt aber auch, wann „gut genug“ ausreicht und „perfekt“ nicht notwendig ist.

Warum wir?

Was wir bieten:

• Echte Wertschätzung und viel Vertrauen.
• Job Ticket oder Job Bike – für einen nachhaltigen Arbeitsweg.
• Budget für berufliche Weiterbildung – du wächst, wir investieren.
• 30 Tage Urlaub, plus freie Tage am 24. und 31. Dezember.
• Unterstützung für Corporate Benefits für Urban Sports Club.
• Offene Feedbackkultur – ehrlich, respektvoll und auf Augenhöhe.
• Ein Team voller kluger Köpfe – mit echtem Teamgeist statt Ego-Trips.
• Unterstützung, wenn du sie brauchst – und Raum, wenn du ihn möchtest.