Senior Data Acquisition Engineer

Als Senior Data Acquisition Engineer sind Sie verantwortlich für die Systeme, die für die großflächige Webdatenakquise zuständig sind. Sie entwerfen und warten eine produktionsfähige Infrastruktur für das Scraping und die Datenaufnahme, die es mehreren Teams ermöglicht, zuverlässig Datenquellen hinzuzufügen und zu betreiben.

Diese Rolle gehört zum Data Engineering-Team und konzentriert sich auf den Aufbau skalierbarer, beobachtbarer und widerstandsfähiger Systeme, die Produktionsdaten verarbeiten. Sie arbeiten eng mit Dateningenieuren und Produktteams zusammen, um Datenpipelines zu verbessern und sicherzustellen, dass die Datenerfassung mit dem Geschäft wächst.

Diese Rolle bietet eine spannende Gelegenheit, die Zukunft von KI-gesteuerten Technologien zu gestalten und bedeutende Beiträge zu realen Anwendungen zu leisten.

Was Sie tun werden:

• Aufbau einer skalierbaren Plattform zur Webdatenakquise, die von verschiedenen Teams genutzt wird.
• Ermöglichen Sie nicht nur Ihrem Team, sondern auch anderen Teams, Daten sicherer und effizienter zu erfassen.
• Treffen Sie Abwägungen zwischen Kosten, Zuverlässigkeit und Leistung bei wichtigen Architekturentscheidungen.
• Erstellen Sie gemeinsame Abstraktionen und Werkzeuge, die das Hinzufügen, Warten und Betreiben von Scrapers in der Produktion erleichtern.
• Übernehmen Sie die Systemzuverlässigkeit, einschließlich intelligenter Wiederholungen, Rückoff-Strategien, Fehlerbehandlung und Wiederherstellung nach Ausfällen.
• Verbessern Sie kontinuierlich die Widerstandsfähigkeit, Korrektheit und Wartbarkeit der Scraping- und Datenaufnahmeinfrastruktur.
• Integrieren Sie Beobachtbarkeit in Datenpipelines durch Protokollierung, Metriken und Alarmierung.
• Überwachen Sie die Datenqualität.
• Verbessern und skalieren Sie End-to-End-Datenpipelines.
• Zusammenarbeit über Funktionen hinweg zur Unterstützung neuer Datenquellen und sich entwickelnder Produktanforderungen.

Qualifikationen:

• Mindestens 5 Jahre Erfahrung im Aufbau und Betrieb von produktionsfähigen Backend-, Daten- oder Plattform-Systemen, mit praktischer Erfahrung in der Webdatenakquise oder im Scraping.
• Betriebssysteme in Umgebungen mit häufigen Änderungen, teilweiser Ausfälle und externen Einschränkungen.
• Produktorientierte Ingenieursmentalität.
• Starke Problemlösungsfähigkeiten und Verantwortungsbewusstsein in Produktionsumgebungen.
• Solides Verständnis der Netzwerkgrundlagen: TLS/SSL-Verhalten, Zeitüberschreitungen und Ausfallmodi.
• Praktische Erfahrung mit Browserautomatisierungstools.
• Beherrschung von CSS-Selektoren und XPath zur Datenextraktion.
• Erfahrung im Entwerfen von Systemen mit robuster Wiederholungslogik, Fehlerbehandlung, Tests und Beobachtbarkeit.
• Kenntnisse in SQL- und NoSQL-Datenbanken.
• Erfahrung im Entwerfen und Betreiben von Produktionssystemen auf AWS, einschließlich VPC-Netzwerk, Dienst-zu-Dienst-Kommunikation, Überwachung und Bereitschaftsdiensten.

Nice to Have:

• Erfahrung im Aufbau oder in der Wartung von Browsererweiterungen.
• Einblick in Browserinternas oder Quellcode (z.B. Debugging, Patchen oder Erweitern des Browserverhaltens).
• Hintergrund in großangelegtem Crawling, Scraping oder verteilten Datensystemen.

Über Bluefish:

Bluefish glaubt, dass KI das nächste große Kapitel des Internets darstellt – und dass Verbraucher zunehmend KI nutzen werden, um Informationen und Medien online zu konsumieren. In diesem neuen KI-Internet benötigen Marken neue Werkzeuge und Technologien, um ihre Geschichten online zu erzählen – und ein neues Marketing-Ökosystem wird rund um KI geschaffen.

Das Bluefish-Team ist eine enge Gruppe von Veteranen der Mar-Tech-Branche, die zuvor geholfen haben, grundlegende Ad-Tech-Plattformen aufzubauen, die jetzt im Besitz von Meta und Microsoft sind. Bluefish, die führende KI-Marketingplattform für die Fortune 500, hat kürzlich eine Finanzierungsrunde der Serie A in Höhe von 20 Millionen US-Dollar unter der Leitung von NEA angekündigt, mit Beteiligung von Salesforce Ventures. Weitere Investoren sind Crane Venture Partners, Swift Ventures und Bloomberg Beta. Wir sind ein global verteiltes Team, mit Geschäftsoperationen in New York City und Engineering in Berlin.

Warum Bluefish & unsere Werte:

• Einzigartige Gelegenheit, am Anfang eines schnelllebigen Startups zu stehen, das im Zentrum der KI baut.
• Bewältigung herausfordernder und abstrakter Probleme, während wir die 300 Milliarden Dollar schwere Legacy-Mar-Tech-Branche disruptieren.
• Teil eines erfahrenen, leistungsstarken Teams werden, in dem Sie sofortige Verantwortung und Einfluss haben.
• Erleben Sie eine echte Meritokratie mit signifikantem Karrierewachstum, während das Geschäft skaliert.

Unsere Werte:

• Nachgewiesene Hartnäckigkeit und Einfallsreichtum – Sie finden kreative Lösungen, passen sich schnell an und scheuen sich nicht, in einem schnelllebigen, sich entwickelnden Umfeld selbst Hand anzulegen.
• Durchdachter und strategischer Denker mit der Fähigkeit, Bedürfnisse vorherzusehen, die richtigen Fragen zu stellen und Erkenntnisse zu liefern, die echten Wert schaffen.
• Nachgewiesene Fähigkeit zur Zusammenarbeit über Funktionen und Rollen hinweg, Förderung offener Kommunikation und gemeinsamer Verantwortung für Ergebnisse.
• Engagement für Handwerkskunst – Sie sind stolz darauf, qualitativ hochwertige Arbeit zu leisten, achten auf die kleinen Details und behalten das große Ganze im Blick.
• Selbststarter mit proaktiver Denkweise und starkem Verantwortungsbewusstsein – in der Lage, Projekte unabhängig voranzutreiben und gleichzeitig im Einklang mit den Teamzielen zu bleiben.
• Komfortabel im Umgang mit Unklarheiten und beim Erlernen neuer Werkzeuge, Prozesse oder Technologien, um die Arbeit zu erledigen.