Data Engineer - Manager

Diese Rolle ist verantwortlich für die Analyse von Geschäfts- und Systemanforderungen und die Definition der optimalen Datenstrategie zu deren Erfüllung. Der Stelleninhaber wird Datenakquisitionsstrategien entwerfen und implementieren sowie die Datenpipeline des Unternehmens durch die Sammlung, Speicherung, Verarbeitung und Transformation großer Datensätze besitzen und erweitern. Diese Rolle wird die Datenarchitektur in der LatAm-Region leiten und ist verantwortlich für ein kleines Team zur Umsetzung dieser Strategie.

Um in dieser Rolle erfolgreich zu sein, benötigen Sie ausgezeichnete analytische Fähigkeiten im Umgang mit strukturierten, semi-strukturierten und unstrukturierten Datensätzen, Expertenkenntnisse in SQL und Erfahrung mit relationalen sowie NoSQL-Datenbanksystemen. Sie müssen über Expertenkenntnisse in der Programmierung mit Python/PySpark verfügen, und es wäre vorteilhaft, wenn Sie auch Erfahrung in der Programmierung mit Java/Scala haben.

Anforderungen:

• Universitätsabschluss in Informatik, Informationssystemen, Statistik oder einem verwandten Bereich.
• Expertise in der Implementierung von Data Lake/Big Data-Projekten in der Cloud (vorzugsweise MS Azure) und/oder On-Premise-Plattformen.
• Erfahrung mit dem Cloud Azure-Technologiestack: ADLS Gen2, Databricks EventHub, Stream Analytics, Synapse Analytics, AKS, Key Vault.
• On-Premise: Spark, HDFS, Hive, Hadoop-Distributionen (Cloudera oder MapR), Kafka, Airflow (oder einen anderen Scheduler).
• Erfahrung im Entwerfen und Bauen von Lakehouse-Architekturen in Parquet/Delta und Synapse Serverless oder Databricks SQL (Kenntnisse des Unity Catalog sind ein großes Plus).
• Fähigkeit, Code modularisiert zu entwickeln, zu warten und zu verteilen.
• Berufserfahrung mit dem DevOps-Framework.
• Sehr gutes Verständnis des Softwareentwicklungszyklus, Quellcodeverwaltung, Code-Reviews usw.
• Erfahrung in der Durchführung von Ursachenanalysen zu internen und externen Daten und Prozessen, um spezifische Geschäftsfragen zu beantworten und Verbesserungspotenziale zu identifizieren.
• Erfahrung im Aufbau von Prozessen zur Unterstützung der Datenumwandlung, Datenstrukturen, Metadaten, Abhängigkeits- und Arbeitslastmanagement.
• Fähigkeit zur Zusammenarbeit mit verschiedenen Teams/Geografien/Stakeholdern/Ebenen der Seniorität.
• Energiegeladene, begeisterte und ergebnisorientierte Persönlichkeit.
• Kundenorientierung mit einem Auge auf kontinuierliche Verbesserung.
• Motivation und Fähigkeit, als Berater in Datenengineering-Projekten zu agieren.
• Fähigkeit, unabhängig, aber auch im Team zu arbeiten.
• Führungskompetenzen zur Entwicklung der Teamstrategie und zur Leitung eines Teams von 3 Personen.
• Starker Wille, die Komplexitäten bei der Entwicklung und Unterstützung von Datenpipelines zu überwinden.
• Agile Denkweise.

Sprachliche Anforderungen:

• Englisch - fließend in Wort und Schrift
• Spanisch – von Vorteil.

Hauptverantwortlichkeiten:

• Entwicklung und Leitung von Dateningenieuren (3 Personen).
• Aufbau skalierbarer, leistungsfähiger, wartungsfreundlicher und zuverlässiger Datenpipelines.
• Sie sollten Freude daran haben, Datensysteme zu optimieren sowie sie von Grund auf neu zu erstellen.
• Einrichten neuer und Überwachen bestehender Metriken, Analysieren von Daten und Zusammenarbeit mit anderen Mitgliedern des Daten- und Analytikteams zur Identifizierung und Umsetzung von System- und Prozessverbesserungen.
• Unterstützung der Sammlung von Metadaten in unser Datenkatalogsystem, wo immer verfügbar, und Sicherstellung, dass Daten genau gepflegt und katalogisiert werden.
• Definition und Implementierung des DevOps-Frameworks unter Verwendung von CI/CD.
• Enge Zusammenarbeit mit Big Data-Architekten, Datenanalysten, Data Warehouse-Ingenieuren und Datenwissenschaftlern.
• Unterstützung und Förderung einer agilen Arbeitsweise unter Verwendung des SCRUM-Frameworks.