Senior Data Acquisition Engineer

Als Senior Data Acquisition Engineer sind Sie verantwortlich für die Systeme, die für die großflächige Webdatenakquise zuständig sind. Sie entwerfen und warten eine produktionsfähige Infrastruktur für das Scraping und die Datenaufnahme, die es mehreren Teams ermöglicht, zuverlässig Datenquellen hinzuzufügen und zu betreiben.

Diese Rolle gehört zum Data Engineering-Team und konzentriert sich auf den Aufbau skalierbarer, beobachtbarer und widerstandsfähiger Systeme, die Produktionsdaten verarbeiten. Sie arbeiten eng mit Dateningenieuren und Produktteams zusammen, um Datenpipelines zu verbessern und sicherzustellen, dass die Datenerfassung mit dem Geschäftswachstum skaliert.

Diese Rolle bietet eine spannende Gelegenheit, die Zukunft der KI-gesteuerten Technologien zu gestalten und bedeutende Beiträge zu realen Anwendungen zu leisten.

Was Sie tun werden:

• Aufbau einer skalierbaren Plattform zur Webdatenakquise, die von verschiedenen Teams genutzt wird.
• Ermöglichen Sie nicht nur Ihrem Team, sondern auch anderen Teams, Daten sicherer und effizienter zu erfassen.
• Treffen Sie Abwägungen zwischen Kosten, Zuverlässigkeit und Leistung bei wichtigen Architekturentscheidungen.
• Erstellen Sie gemeinsame Abstraktionen und Werkzeuge, die das Hinzufügen, Warten und Betreiben von Scrapers in der Produktion erleichtern.
• Übernehmen Sie die Systemzuverlässigkeit, einschließlich intelligenter Wiederholungen, Rückoff-Strategien, Fehlerbehandlung und Wiederherstellung nach Ausfällen.
• Verbessern Sie kontinuierlich die Widerstandsfähigkeit, Korrektheit und Wartbarkeit der Scraping- und Datenaufnahmeinfrastruktur.
• Integrieren Sie Beobachtbarkeit in Datenpipelines durch Protokollierung, Metriken und Alarmierung.
• Überwachen Sie die Datenqualität.
• Verbessern und skalieren Sie End-to-End-Datenpipelines.
• Arbeiten Sie funktionsübergreifend zusammen, um neue Datenquellen und sich entwickelnde Produktanforderungen zu unterstützen.

Qualifikationen:

• Mindestens 5 Jahre Erfahrung im Aufbau und Betrieb von produktionsfähigen Backend-, Daten- oder Plattform-Systemen, mit praktischer Erfahrung in der Webdatenakquise oder im Scraping.
• Betriebssysteme in Umgebungen mit häufigen Änderungen, teilweiser Ausfälle und externen Einschränkungen.
• Produktorientierte Ingenieursmentalität.
• Starke Problemlösungsfähigkeiten und Verantwortungsbewusstsein in Produktionsumgebungen.
• Solides Verständnis der Netzwerkgrundlagen: TLS/SSL-Verhalten, Zeitüberschreitungen und Ausfallmodi.
• Praktische Erfahrung mit Browserautomatisierungstools.
• Beherrschung von CSS-Selektoren und XPath zur Datenerfassung.
• Erfahrung im Entwerfen von Systemen mit robuster Wiederholungslogik, Fehlerbehandlung, Tests und Beobachtbarkeit.
• Kenntnisse in SQL- und NoSQL-Datenbanken.
• Erfahrung im Entwerfen und Betreiben von Produktionssystemen auf AWS, einschließlich VPC-Netzwerk, Dienst-zu-Dienst-Kommunikation, Überwachung und Bereitschaftsdiensten.

Nice to Have:

• Erfahrung im Aufbau oder in der Wartung von Browsererweiterungen.
• Einblick in Browserinternas oder Quellcode (z.B. Debugging, Patchen oder Erweitern des Browserverhaltens).
• Hintergrund in großangelegtem Crawling, Scraping oder verteilten Datensystemen.

Über Bluefish:

Bluefish glaubt, dass KI das nächste große Kapitel des Internets darstellt – und dass Verbraucher zunehmend KI nutzen werden, um Informationen und Medien online zu konsumieren. In diesem neuen KI-Internet benötigen Marken neue Werkzeuge und Technologien, um ihre Geschichten online zu erzählen – und ein neues Marketing-Ökosystem wird rund um KI geschaffen.

Das Bluefish-Team ist eine enge Gruppe von Veteranen der Mar-Tech-Branche, die zuvor geholfen haben, grundlegende Ad-Tech-Plattformen aufzubauen, die jetzt im Besitz von Meta und Microsoft sind. Bluefish, die führende KI-Marketingplattform für die Fortune 500, hat kürzlich eine Finanzierungsrunde der Serie A in Höhe von 20 Millionen US-Dollar unter der Leitung von NEA angekündigt, mit Beteiligung von Salesforce Ventures. Weitere Investoren sind Crane Venture Partners, Swift Ventures und Bloomberg Beta. Wir sind ein global verteiltes Team, mit Geschäftsbetrieb in New York City und Engineering in Berlin.

Warum Bluefish & unsere Werte:

• Einzigartige Gelegenheit, am Anfang eines schnelllebigen Startups zu arbeiten, das im Zentrum der KI aufbaut.
• Bewältigung herausfordernder und abstrakter Probleme, während wir die 300-Milliarden-Dollar-Erbe-Mar-Tech-Branche stören.
• Teil eines erfahrenen, leistungsstarken Teams werden, in dem Sie sofortige Verantwortung und Einfluss haben.
• Erleben Sie eine echte Meritokratie mit signifikanten Karrierewachstumschancen, während das Geschäft wächst.

Unsere Werte:

• Nachgewiesene Hartnäckigkeit und Einfallsreichtum – Sie finden kreative Lösungen, passen sich schnell an und scheuen sich nicht, in einem schnelllebigen, sich entwickelnden Umfeld die Ärmel hochzukrempeln.
• Durchdachter und strategischer Denker mit der Fähigkeit, Bedürfnisse vorherzusehen, die richtigen Fragen zu stellen und Erkenntnisse zu liefern, die echten Wert schaffen.
• Nachgewiesene Fähigkeit zur Zusammenarbeit über Funktionen und Rollen hinweg, Förderung offener Kommunikation und gemeinsamer Verantwortung für Ergebnisse.
• Engagement für Handwerkskunst – Sie sind stolz darauf, qualitativ hochwertige Arbeit zu leisten, achten auf die kleinen Details und behalten das große Ganze im Blick.
• Selbststarter mit proaktiver Denkweise und starkem Verantwortungsbewusstsein – in der Lage, Projekte unabhängig voranzutreiben, während Sie im Einklang mit den Zielen des Teams bleiben.
• Komfortabel im Umgang mit Unklarheiten und beim Erlernen neuer Werkzeuge, Prozesse oder Technologien, um die Arbeit zu erledigen.