Senior Python Data Scraping Engineer (Freelance)

Mindrift sucht hochqualifizierte Senior Python Data Scraping Engineers, um am Tendem-Projekt teilzunehmen und spezialisierte Daten-Scraping-Workflows innerhalb unseres hybriden KI + menschlichen Systems voranzutreiben. In dieser Rolle, als AI Pilot – so bezeichnen wir diese Rolle bei Mindrift – arbeiten Sie mit Tendem Agents zusammen, die sich um repetitive Aufgaben kümmern, während Sie kritisches Denken, Fachwissen und Qualitätskontrolle bereitstellen, um genaue und umsetzbare Ergebnisse zu liefern. Diese Teilzeit-Remote-Möglichkeit ist ideal für technische Fachkräfte mit praktischer Erfahrung im Web-Scraping, der Datenextraktion und -verarbeitung.

Was wir tun: Die Mindrift-Plattform verbindet Spezialisten mit KI-Projekten von großen Technologieinnovatoren. Unsere Mission ist es, das Potenzial von Generativer KI zu erschließen, indem wir auf das reale Fachwissen aus der ganzen Welt zugreifen. Dies ist eine freiberufliche Rolle für ein Tendem-Projekt. Als Senior Python Data Scraping Engineer übernehmen Sie Daten-Scraping-Aufgaben, die technische Präzision für die Web-Extraktion und -verarbeitung erfordern, wobei Sie verschiedene Tools wie unser bereitgestelltes Apify und OpenRouter sowie Ihre eigenen einfallsreichen Ansätze nutzen.

Hauptverantwortlichkeiten:

• Eigenverantwortung für End-to-End-Datenextraktions-Workflows über komplexe Websites, um vollständige Abdeckung, Genauigkeit und zuverlässige Lieferung strukturierter Datensätze sicherzustellen.
• Nutzung interner Tools (Apify, OpenRouter) neben benutzerdefinierten Workflows zur Beschleunigung der Datensammlung, Validierung und Aufgabenausführung unter Einhaltung definierter Anforderungen.
• Sicherstellung einer zuverlässigen Extraktion aus dynamischen und interaktiven Webquellen, Anpassung der Ansätze nach Bedarf zur Handhabung von JavaScript-gerendertem Inhalt und sich änderndem Seitenverhalten.
• Durchsetzung von Datenqualitätsstandards durch Validierungsprüfungen, Konsistenzkontrollen über Quellen hinweg, Einhaltung von Formatierungsspezifikationen und systematische Überprüfung vor der Lieferung.
• Skalierung der Scraping-Operationen für große Datensätze unter Verwendung effizienter Batching- oder Parallelisierungsansätze, Überwachung von Fehlern und Aufrechterhaltung der Stabilität gegenüber geringfügigen Änderungen der Seitenstruktur.

Anforderungen:

• Mindestens 5+ Jahre relevante Erfahrung in Datenengineering, Web-Scraping, Automatisierung oder Softwareentwicklung (erforderlich).
• Ein Bachelor- oder Master-Abschluss in Ingenieurwesen, angewandter Mathematik, Informatik oder verwandten technischen Bereichen ist von Vorteil.
• Kandidaten sollten über eine starke technische Grundlage und praktische Erfahrung mit Skripting, Automatisierung und KI-unterstützten Workflows verfügen.
• Wir suchen Spezialisten, die nicht-triviale Probleme lösen können, sicher mit LLMs arbeiten und systematisch Daten aus verschiedenen Quellen sammeln, strukturieren und validieren können.
• Ein methodischer, detailorientierter Ansatz und die Fähigkeit, unabhängig zu arbeiten, sind unerlässlich.
• Starke Erfahrung im Python-Web-Scraping (BeautifulSoup, Selenium oder ähnlich), einschließlich dynamischer Inhalte (JS, AJAX, unendliches Scrollen) und APIs über Proxys.
• Nachgewiesene Fähigkeit, Daten aus komplexen Strukturen (Hierarchien, archivierte Seiten, inkonsistentes HTML) zu extrahieren.
• Solide Kenntnisse in der Datenbereinigung, Normalisierung und Validierung, die strukturierte Datensätze (CSV, JSON, Google Sheets) liefern.
• Erfahrung im Umgang mit Anti-Bot-Mechanismen und dynamischen Seitenstrukturen in großem Maßstab.
• Erfahrung mit Cloud-Infrastruktur (AWS oder gleichwertig) und Containerisierung (Docker) als Teil realer Workflows.
• Praktische Erfahrung mit LLM-Frameworks (LangChain, OpenRouter oder ähnlich), die auf Automatisierungsaufgaben angewendet werden.
• Starke Aufmerksamkeit für Details und Engagement für Datenqualität.
• Selbstgesteuerte Arbeitsweise mit der Fähigkeit, unabhängig Probleme zu beheben.
• Ein Link zu GitHub ist von Vorteil.
• Englischkenntnisse: Oberes Mittelmaß (B2) oder höher (erforderlich).

Projekterwartungen:

Für dieses Projekt wird geschätzt, dass die Aufgaben etwa 10–20 Stunden pro Woche während aktiver Phasen erfordern, basierend auf den Projektanforderungen. Dies ist eine Schätzung, keine garantierte Arbeitslast, und gilt nur, solange das Projekt aktiv ist.

Vergütung:

In diesem Projekt können Mitwirkende bis zu 45 USD pro Stunde verdienen, abhängig von ihrem Niveau und Tempo der Beiträge. Die Vergütung variiert je nach Projektumfang, Komplexität und erforderlicher Expertise. Bitte beachten Sie, dass andere Projekte auf der Plattform unterschiedliche Verdienstniveaus basierend auf ihren Anforderungen anbieten können.