Senior Data Engineer

Über die Position

Als Senior Data Engineer spielen Sie eine Schlüsselrolle beim Aufbau und der Skalierung der Dateninfrastruktur, die unsere KI-gesteuerte Plattform antreibt. Sie sind verantwortlich für das Design, die Implementierung und die Optimierung zuverlässiger und skalierbarer Datenpipelines, die große Mengen strukturierter und unstrukturierter Daten verarbeiten, von synthetischen LLM-Prompts bis hin zu groß angelegten, webbasierten Datensätzen, in einem wachsenden AWS-basierten Datenökosystem. Diese Rolle konzentriert sich auf die Ermöglichung einer schnellen Skalierung. Unser Datenvolumen und -verkehr steigen schnell an, während wir uns auf neue KI-Kanäle und Datenquellen ausdehnen, und wir benötigen robuste, produktionsfähige Datensysteme, die mit diesem Wachstum Schritt halten können. Sie arbeiten eng mit den Engineering-, Produkt- und Go-to-Market-Teams zusammen, um sicherzustellen, dass die Daten zuverlässig, beobachtbar und wiederverwendbar sind.

Ein zentraler Bestandteil der Rolle wird es sein, die Entwicklung unserer Datenplattform zu gestalten, einschließlich der Mitwirkung am Design und der Implementierung unserer Data Lake-Architektur. Sie helfen sicherzustellen, dass unsere Pipelines mit zunehmender Last umgehen können, eine hohe Datenqualität aufrechterhalten und neue Produktfähigkeiten unterstützen, während wir skalieren. Sie fungieren auch als vertrauenswürdiger technischer Partner zwischen den Teams, helfen dabei, bewährte Verfahren für Daten zu etablieren, die betriebliche Zuverlässigkeit zu verbessern und den Teams zu ermöglichen, Daten effektiv sowohl im Produkt- als auch im Geschäftskontext zu nutzen.

Diese Rolle ist remote in Deutschland.

Was Sie tun werden:

• Design, Aufbau und Wartung skalierbarer Datenpipelines, die große Datenmengen aus mehreren Quellen und Kanälen aufnehmen, transformieren und validieren.
• Verbesserung der Skalierbarkeit, Zuverlässigkeit und Leistung unserer Datenpipelines zur Unterstützung schnell wachsender Arbeitslasten und neuer Datenströme.
• Mitwirkung am Design und der Implementierung unserer Data Lake-Architektur, um zuverlässige Datenspeicherung und Wiederverwendbarkeit über Teams hinweg zu ermöglichen.
• Verwaltung und Optimierung von Datenaufnahme-Workflows, einschließlich Daten, die von Web-Scrapern, Drittanbietern und internen Systemen gesammelt werden.
• Überwachung der Pipeline-Gesundheit, Untersuchung von Vorfällen und Implementierung von Verbesserungen zur Erhöhung der Systemzuverlässigkeit und Beobachtbarkeit.
• Unterstützung bei der Einarbeitung und Integration neuer KI-Kanäle und Datenquellen in die Plattform.
• Zusammenarbeit mit Teams in der gesamten Organisation, um sicherzustellen, dass Daten, die von verschiedenen Systemen generiert werden, effektiv für Analysen und Business Intelligence wiederverwendet werden können.
• Identifizierung und Behebung von Leistungsengpässen in verteilten Systemen, einschließlich Ratenbegrenzung, Parallelität und Durchsatzbeschränkungen.
• Beratung von Engineering- und Produktteams zu Datenarchitektur, Datenqualität und bewährten Verfahren für das Management skalierbarer Daten-Workflows.
• Kontinuierliche Bewertung und Verbesserung unserer Datenplattform zur Unterstützung des schnellen Wachstums des Unternehmens und der sich entwickelnden Produktbedürfnisse.

Qualifikationen:

• Starke Erfahrung im Aufbau und Betrieb skalierbarer Datenpipelines in Produktionsumgebungen.
• Praktische Erfahrung mit Data Lakes oder Data Warehouses (z.B. AWS Athena oder ähnliche Technologien).
• Erfahrung mit Datenumwandlung und -modellierung.
• Starke Erfahrung mit AWS.
• Erfahrung mit Infrastructure-as-Code-Tools zur Verwaltung von Cloud-Infrastrukturen.
• Kenntnisse in Python für Datenverarbeitung und Automatisierung.
• Erfahrung mit verteilten Systemen und dem Management von großangelegten Daten-Workflows.
• Erfahrung in der Implementierung von Monitoring-, Observabilitäts- und Incident-Response-Praktiken für Datensysteme.

Schön zu haben:

• Erfahrung mit großangelegtem Web-Scraping oder externen Datenaufnahme-Systemen.
• Erfahrung in der Unterstützung von Systemen mit schnell steigenden Verkehrs- oder Datenvolumina.

Über Bluefish:

Bluefish glaubt, dass KI das nächste große Kapitel des Internets darstellt – und dass Verbraucher zunehmend KI nutzen werden, um Informationen und Medien online zu konsumieren. In diesem neuen KI-Internet benötigen Marken neue Werkzeuge und Technologien, um ihre Geschichten online zu erzählen – und ein neues Marketing-Ökosystem wird rund um KI geschaffen. Bluefish baut die Plattform, die Marken hilft, Verbraucher über diesen neuen KI-Kanal zu erreichen, mit leistungsstarken Unternehmenswerkzeugen zur Verwaltung der KI-Markenintegrität und zur Ansprache von Verbrauchern mit durchdachten und personalisierten KI-Marketing-Erlebnissen.

Das Team von Bluefish ist eine enge Gruppe von Veteranen der Mar-Tech-Branche, die zuvor geholfen haben, grundlegende Ad-Tech-Plattformen aufzubauen, die jetzt im Besitz von Meta und Microsoft sind. Bluefish, die führende KI-Marketing-Plattform für die Fortune 500, hat kürzlich eine Wachstumsfinanzierung der Serie B in Höhe von 43 Millionen US-Dollar angekündigt, die gemeinsam von Threshold Ventures und NEA geleitet wurde, mit Beteiligung mehrerer Unternehmensinvestoren, darunter Amex Ventures, TIAA Ventures, Salesforce Ventures und fortgesetzte Beteiligung von Bloomberg Beta. Wir sind ein global verteiltes Team, mit Geschäftsoperationen in New York City und Engineering in Europa und New York.

Warum Bluefish & Unsere Werte:

• Einzigartige Gelegenheit, am Anfang eines schnell wachsenden Startups teilzuhaben, das im Zentrum von KI arbeitet.
• Herausfordernde und abstrakte Probleme angehen, während wir die 300 Milliarden Dollar schwere Legacy-Mar-Tech-Branche disruptieren.
• Teil eines erfahrenen, leistungsstarken Teams werden, in dem Sie sofortige Verantwortung und Einfluss haben.
• Eine echte Meritokratie erleben mit signifikanten Karrierewachstumschancen, während das Geschäft skaliert.

Unsere Werte:

• Nachgewiesene Entschlossenheit und Einfallsreichtum - Sie finden kreative Lösungen, passen sich schnell an und scheuen sich nicht, in einer schnelllebigen, sich entwickelnden Umgebung die Ärmel hochzukrempeln.
• Durchdachter und strategischer Denker mit der Fähigkeit, Bedürfnisse vorherzusehen, die richtigen Fragen zu stellen und Erkenntnisse zu liefern, die echten Wert schaffen.
• Nachgewiesene Fähigkeit zur Zusammenarbeit über Funktionen und Rollen hinweg, Förderung offener Kommunikation und gemeinsamer Verantwortung für Ergebnisse.
• Engagement für Handwerkskunst - Sie sind stolz darauf, qualitativ hochwertige Arbeit zu leisten, achten auf die kleinen Details und behalten das große Ganze im Blick.
• Eigenverantwortlicher Selbststarter mit proaktiver Denkweise und starkem Verantwortungsbewusstsein - in der Lage, Projekte unabhängig voranzutreiben und gleichzeitig im Einklang mit den Zielen des Teams zu bleiben.
• Komfortabel im Umgang mit Unklarheiten und beim Erlernen neuer Werkzeuge, Prozesse oder Technologien, um die Arbeit zu erledigen.