Senior Web Scraping Engineer

Schließen Sie sich einem Team an, das die Art und Weise, wie Unternehmen ihre Versandkosten verwalten, neu gestaltet. Lojistic ist eine Plattform zur Verwaltung von Versandkosten, die Unternehmen hilft, Kosten durch Analysen, Automatisierung und Intelligenz zu senken. Wir arbeiten mit kleinen und mittelständischen Unternehmen sowie großen Unternehmen in verschiedenen Branchen zusammen, um Ineffizienzen aufzudecken und fundierte, datengestützte Entscheidungen zu treffen.

Als Senior Web Scraping Engineer bei Lojistic sind Sie verantwortlich für das Rückgrat unserer Arbeit: eine groß angelegte Pipeline zur Datenakquise aus dem Web, die jeden Monat Zehntausende von Scrapes verarbeitet. Sie sind dafür verantwortlich, das System in der Produktion zuverlässig zu halten, indem Sie die Betriebszeit aufrechterhalten, Ausfälle reduzieren und die Resilienz kontinuierlich verbessern.

Sie arbeiten mit einem ausgereiften Stack, der in den letzten zehn Jahren aufgebaut wurde, einschließlich intern verwalteter CDP-gesteuerter Browser, externer APIs, gehosteter Browserdienste und maßgeschneiderter Lösungen, und arbeiten mit unserem Senior-Team an der Architektur, während Sie schnell an täglichen Verbesserungen arbeiten.

Wer wir suchen: Wenn Sie tief in der Welt des Web Scrapings, der Browserautomatisierung oder der Datenerfassung sind, ist dies einen ernsthaften Blick wert. Diese Rolle ist für jemanden gedacht, der über solides technisches Wissen darüber verfügt, wie das moderne Web funktioniert, gepaart mit einer selbstgesteuerten Arbeitsweise, die in einer Remote-Umgebung gedeiht. Sie genießen es wirklich, Systeme im Laufe der Zeit zuverlässiger zu machen, benötigen keine Anweisungen, was als Nächstes zu tun ist, und gehen Probleme durchdacht an, anstatt nach der schnellsten Lösung zu greifen. Sie sind nicht nur qualifiziert, sondern auch zuverlässig und bereit, Verantwortung zu übernehmen.

Was Sie tun werden:

• Die End-to-End-Zuverlässigkeit der Web-Scraping-Infrastruktur von Lojistic verantworten – jeden Monat werden Zehntausende von Seiten über eine Vielzahl von Tools und Diensten gescraped.
• Überwachung der Erfolgsraten von Scraping und API sowie der Systemgesundheit, frühzeitige Identifizierung von Problemen und schnelles Handeln, bevor sie eskalieren.
• Reaktion auf Scraping- und API-Ausfälle mit Dringlichkeit – Diagnose der Ursachen, Bereitstellung von Lösungen und Kommunikation des Status an das Team.
• Proaktive Verbesserung der Datenabrufplattform: bessere Alarmierung aufbauen, Redundanzen hinzufügen, Resilienz erhöhen und manuelle Eingriffe im Laufe der Zeit reduzieren.
• Bewertung und Experimentieren mit neuen Scraping-Technologien, Bibliotheken und Ansätzen, um der sich ständig verändernden Weblandschaft einen Schritt voraus zu sein.
• Arbeiten mit authentifizierten Sitzungen und passwortgeschützten Datenquellen, um die einzigartigen Herausforderungen zu bewältigen, die mit dem Abrufen von Daten hinter Authentifizierungswänden verbunden sind.
• Zusammenarbeit mit unserem Senior-Team bei wichtigen architektonischen Entscheidungen, während Sie die Autonomie haben, schnell an täglichen Verbesserungen zu arbeiten.
• Erstellen und Pflegen von Dashboards und Werkzeugen, die dem Team klare Einblicke in die Gesundheit und Leistung unserer Datensammlungssysteme geben.

Fähigkeiten & Qualifikationen:

• 5 Jahre Erfahrung in der Softwareentwicklung mit bedeutender Erfahrung im Web Scraping, der Browserautomatisierung oder der Datenerfassung in großem Maßstab.
• Vertrautheit mit Scraping-Tools und -Techniken: headless Browser, CDP (Chrome DevTools Protocol), Proxy-Management, Sitzungsverwaltung, CAPTCHA-Minderung und Strategien zur Umgehung von Anti-Bot-Maßnahmen.
• Erfahrung im Aufbau und in der Pflege von Überwachungs-, Alarmierungs- und Beobachtungssystemen für Produktionsinfrastrukturen.
• Komfort im Umgang mit mehreren Programmiersprachen und -tools – unser Kerncode ist hauptsächlich in Ruby geschrieben, aber wir verlangen keine Ruby-Erfahrung. Sie sollten der Entwickler sein, der eine neue Sprache schnell erlernen und produktiv arbeiten kann.
• Starke Debugging- und Diagnosetechniken – Sie können einen Fehler über mehrere Systeme hinweg zurückverfolgen und die Ursache ohne Anleitung identifizieren.
• Selbstgesteuert und komfortabel mit Verantwortung. Sie werden nicht immer einen Manager haben, der Ihnen tägliche Aufgaben zuweist. Sie haben eine Mission und arbeiten mit dem Team zusammen, um den besten Weg zu finden, diese zu erreichen.
• Exzellente Kommunikationsfähigkeiten – Sie können erklären, was kaputt ist, warum es kaputt ist und was Sie dagegen tun, sodass auch Nicht-Techniker es verstehen können.