Senior Data Engineer - Web Scraping

Diese Position wird im Auftrag eines Partnerunternehmens ausgeschrieben, das alle Bewerbungen und nächsten Schritte verwaltet. Unser Partner sucht einen Senior Data Engineer - Web Scraping mit Sitz in Österreich. Dies ist eine vollständig remote Möglichkeit für einen Dateningenieur, der sich auf Web-Scraping, Datenverarbeitung und Automatisierung spezialisiert hat.

Sie werden komplexe Scraper entwerfen und pflegen, die verschiedene webbasierte Quellen in zuverlässige, hochwertige Datensätze umwandeln. Ihre Arbeit unterstützt direkt analytische und investitionsbezogene Entscheidungen, indem sie zeitnahe Daten, Warnmeldungen und produktionsbereite Datenprodukte liefert. Die Rolle kombiniert praktische Python-Entwicklung, Datenumwandlung, Datenbankengineering und Workflow-Orchestrierung. Sie arbeiten eng mit Analysten, Ingenieuren und funktionsübergreifenden Teams zusammen, um Anforderungen zu verstehen und skalierbare Lösungen zu entwickeln.

Mit erheblichem Eigenverantwortung und Autonomie haben Sie die Möglichkeit, Plattformen zu verbessern, Prozesse zu automatisieren und herausfordernde Datenprobleme zu lösen. Die Umgebung ist unternehmerisch und teamorientiert, mit einem starken Fokus auf Ingenieursqualität, betriebliche Zuverlässigkeit und kontinuierliche Innovation.

Verantwortlichkeiten:

• Entwerfen, Entwickeln, Bereitstellen und Warten von Web-Scrapern unter Verwendung einer Vielzahl von Scraping-Techniken und -Tools zur Sammlung alternativer Datensätze aus verschiedenen Quellen.
• Verwenden von Python und Pandas zum Reinigen, Erkunden, Transformieren, Manipulieren und Vorbereiten großer Datensätze für den nachgelagerten Verbrauch.
• Erstellen und Warten effizienter Datenpipelines, die gescrapte Daten in Datenbanken und Data Warehouses einspeisen.
• Entwickeln und Verwalten geplanter Workflows mit Apache Airflow und anderen Orchestrierungstools, um eine zuverlässige und zeitgerechte Datenlieferung sicherzustellen.
• Zusammenarbeit mit Analysten und funktionsübergreifenden Stakeholdern, um aktuelle und zukünftige Datenanforderungen zu verstehen und in effektive technische Lösungen umzusetzen.
• Entwickeln von Qualitätskontrollprüfungen zur Validierung der Datenverfügbarkeit, Genauigkeit, Konsistenz und Integrität.
• Warten von Alarmsystemen, Untersuchen zeitkritischer Datenvorfälle und Lösen betrieblicher Probleme, um eine zuverlässige tägliche Datenlieferung sicherzustellen.
• Entwerfen und Implementieren von Tools, Anwendungen und Automatisierungen, die die Fähigkeiten und Effizienz der Web-Scraping-Plattform verbessern.
• Beitragen zu Infrastruktur- und Datenproduktdesigns, um praktische Lösungen zu bieten, die Datenwissenschaftler und andere Technologie-Teams unterstützen.
• Unabhängig arbeiten, während Sie mit Engineering-, Produkt- und Technologiestakeholdern zusammenarbeiten, um qualitativ hochwertige Lösungen zu liefern und bestehende Systeme kontinuierlich zu verbessern.

Anforderungen:

• Abschluss (Bachelor oder Master) in Informatik, Ingenieurwesen oder einem verwandten technischen Bereich.
• 4-6 Jahre Berufserfahrung im Datenengineering oder einem eng verwandten Bereich.
• Starke Programmierkenntnisse in Python und fundierte Kenntnisse in SQL und Datenbanktechnologien.
• Fortgeschrittene praktische Erfahrung mit der Python Pandas-Bibliothek für Datenreinigung, -manipulation, -erkundung und -transformation.
• Starke Web-Scraping-Erfahrung mit Tools und Technologien wie Selenium, Scrapy, Fiddler, Postman und XPath.
• Starke Erfahrung mit Apache Airflow für Workflow-Orchestrierung und Datenpipeline-Management.
• Solides Verständnis von Webtechnologien, einschließlich HTML, JavaScript, APIs und verwandten Konzepten.
• Nachgewiesene Erfahrung im Umgang mit großen Datensätzen und Durchführung von Datenreinigungs-, Transformations-, Manipulations- und Ersetzungsprozessen.
• Fähigkeit, skalierbare Infrastruktur, Datenprodukte und technische Tools für datenzentrierte Teams zu entwerfen.
• Starke mündliche und schriftliche Kommunikationsfähigkeiten, mit der Fähigkeit, effektiv mit technischen und nicht-technischen Stakeholdern zusammenzuarbeiten.
• Selbstmotiviert, detailorientiert und komfortabel beim selbstständigen Arbeiten, während Sie Verantwortung für Projekte und Ergebnisse übernehmen.
• Erfahrung mit Docker und Containerisierung von Arbeitslasten ist von Vorteil; Kubernetes-Erfahrung ist ein Plus.
• Vertrautheit mit Automatisierungs- und CI/CD-Technologien wie Jenkins und GitHub Actions ist von Vorteil.
• Erfahrung mit AWS-Diensten wie S3, RDS, SNS, SQS und Lambda ist ein Plus.

Vorteile:

• Vollständig remote Position mit der Flexibilität, von überall zu arbeiten.
• Vollzeitmöglichkeit in einer kollaborativen, teamorientierten Ingenieurumgebung.
• Erhebliche Autonomie, Verantwortung und Vertrauen in Ihren Ansatz bei technischen Herausforderungen.
• Gelegenheit, an komplexen Web-Scraping-, Datenengineering-, Automatisierungs- und Datenproduktinitiativen zu arbeiten.
• Exposition gegenüber komplexen Datensätzen, die analytische und investitionsbezogene Entscheidungsfindung unterstützen.
• Zusammenarbeit mit Ingenieuren, Produktmanagern, Analysten, Datenwissenschaftlern und anderen Technologieprofis.
• Gelegenheit, zur Entwicklung und Evolution eines unternehmerischen Technologie-Teams beizutragen.
• Professionelle Umgebung, die sich auf Innovation, kontinuierliche Verbesserung und betriebliche Exzellenz konzentriert.