Data Engineer (f/m/x)

Über die letzten 20 Jahre ist NETCONOMY von einem Startup zu einem Team von 500 Personen gewachsen, das an 10 europäischen Standorten tätig ist. Wir glauben an die Kraft der agilen und funktionsübergreifenden Zusammenarbeit, die Menschen aus verschiedenen Hintergründen zusammenbringt, um herausragende digitale Lösungen zu schaffen.

Als Data Engineer spielen Sie eine Schlüsselrolle beim Aufbau moderner, skalierbarer und leistungsstarker Datenlösungen auf der Google Cloud Platform (GCP). Sie werden Teil unseres wachsenden Data & AI-Teams sein, das Datenarchitekturen entwirft und implementiert, die unseren Kunden helfen, das volle Potenzial ihrer Daten auszuschöpfen.

Ihre Hauptverantwortlichkeiten sind:

• Effiziente und skalierbare ETL/ELT-Prozesse zum Ingestieren, Transformieren und Laden von Daten aus verschiedenen strukturierten und unstrukturierten Quellen (Datenbanken, APIs, Streaming-Plattformen) in BigQuery und Cloud Storage aufzubauen.
• Datenaufnahme und Echtzeitverarbeitung mit Dataflow (Apache Beam) und Pub/Sub für Batch- und Streaming-Workflows zu implementieren.
• SQL-Transformations-Workflows mit Dataform zu entwickeln, einschließlich Versionskontrolle, Tests und automatisierter Planung mit integrierten Qualitätsprüfungen.
• Effiziente, kostensparende BigQuery-Abfragen mit geeigneten Partitionierungs-, Cluster- und Denormalisierungsstrategien zu erstellen.
• Komplexe Workflows mit Cloud Composer (Apache Airflow) und Cloud Functions für ereignisgesteuerte Datenverarbeitung zu orchestrieren.
• Zentralisierte Datenverwaltung und Metadatenmanagement mit Dataplex unter Verwendung automatisierter Katalogisierung und Nachverfolgung der Herkunft zu implementieren.
• Datenpipelines hinsichtlich Leistung, Skalierbarkeit und Kosten mit Cloud Monitoring und Cloud Logging zu überwachen und zu optimieren.
• Mit Datenwissenschaftlern und Analysten zusammenzuarbeiten, um Datenanforderungen zu verstehen und umsetzbare Erkenntnisse zu liefern.
• Aktuell zu bleiben mit GCP-Fortschritten in den Datenservices, BigQuery-Funktionen und Best Practices im Bereich Datenengineering.

Ihre Fähigkeiten:

• 3+ Jahre praktische Erfahrung als Data Engineer mit nachgewiesener Expertise in Google Cloud Platform (GCP).
• Starke Erfahrung mit BigQuery (SQL, Partitionierung, Clustering, Optimierung) und Dataflow (Apache Beam).
• Starke Programmierkenntnisse in Python mit Erfahrung in Datenmanipulationsbibliotheken (PySpark, pandas).
• Expertenniveau SQL-Kenntnisse für komplexe Transformationen, Optimierung und Analyse.
• Kenntnisse in Dataform für modulare SQL-basierte Datenumwandlungen und Datenpipeline-Management.
• Solides Verständnis der Prinzipien des Data Warehousing, ETL/ELT-Prozesse, dimensionales Modellieren und Datenverwaltung.
• Erfahrung in der Integration von Daten aus verschiedenen APIs und Streaming-Systemen (Pub/Sub).
• Erfahrung mit Cloud Composer für Workflow-Orchestrierung.
• Ausgezeichnete Kommunikations- und Kollaborationsfähigkeiten in Englisch (mind. B2-Niveau).
• Fähigkeit, selbstständig und als Teil eines agilen Teams zu arbeiten.

Nützliche Fähigkeiten:

• Google Professional Data Engineer-Zertifizierung.
• Kenntnisse in BigLake für einheitlichen Zugriff und Verwaltung von strukturierten und unstrukturierten Daten.
• Erfahrung mit Dataplex zur Verwaltung von Metadaten, Herkunft und Datenverwaltung.
• Vertrautheit mit Infrastructure-as-Code (Terraform) zur Automatisierung der Bereitstellung von GCP-Ressourcen und CI/CD-Pipelines.
• Erfahrung mit Datenvisualisierungstools wie Looker, Looker Studio oder Power BI.
• Interesse an oder Erfahrung mit Machine Learning-Workflows unter Verwendung von Vertex AI oder ähnlichen Plattformen.

Unser Angebot:

• Flexible Arbeitsmodelle: Dank unserer flexiblen Arbeitsmodelle können Sie Ihren Arbeitstag so beginnen, wie es Ihnen am besten passt. Zudem können Sie wählen, ob Sie lieber mehr im Büro oder von zu Hause aus arbeiten möchten.
• Karriereentwicklung & Einarbeitung: Beginnen Sie Ihre Reise bei NETCONOMY mit einer strukturierten Einarbeitungs- und Mentoring-Phase und setzen Sie diese mit individuellen Schulungsmöglichkeiten fort.
• Unternehmensgipfel: Tauschen Sie berufliche und persönliche Erfahrungen auf unserer jährlichen internen Konferenz aus!
• Soziale Veranstaltungen: Nehmen Sie an unseren sozialen Veranstaltungen teil und knüpfen Sie neue Kontakte.
• Snacks und Wohlbefinden: Profitieren Sie von unserem monatlichen Essenszuschuss und Rabatten bei Partnerrestaurants.
• Mobilitätsunterstützung: Wählen Sie umweltfreundliche Transportmittel! Wir unterstützen Ihre klimafreundlichen Transportkosten.

Das tatsächliche Gehalt hängt von Ihren Qualifikationen und Erfahrungen ab. Für uns ist es auch wichtig, unseren Mitarbeitern ein intern vergleichbares Gehalt zu zahlen. Aus rechtlichen Gründen müssen wir das Mindestjahresgehalt für eine Vollzeitbeschäftigung gemäß dem aktuellen Kollektivvertrag IT bekannt geben, das für diese Position bei € 53.802,00 brutto/Jahr liegt.