Senior Python Data Scraping Engineer (Freelance)

Mindrift sucht hochqualifizierte Senior Python Data Scraping Engineers, um das Tendem-Projekt zu unterstützen und spezialisierte Daten-Scraping-Workflows innerhalb unseres hybriden AI + menschlichen Systems voranzutreiben. In dieser Rolle, als AI Pilot – so bezeichnen wir diese Rolle bei Mindrift – arbeiten Sie mit Tendem Agents zusammen, die sich um repetitive Aufgaben kümmern, während Sie kritisches Denken, Fachwissen und Qualitätskontrolle bereitstellen, um genaue und umsetzbare Ergebnisse zu liefern. Diese Teilzeit-Remote-Möglichkeit ist ideal für technische Fachkräfte mit praktischer Erfahrung im Web-Scraping, der Datenerfassung und -verarbeitung.

Was wir tun: Die Mindrift-Plattform verbindet Spezialisten mit AI-Projekten von großen Technologieinnovatoren. Unsere Mission ist es, das Potenzial von Generative AI zu erschließen, indem wir auf reale Expertise aus der ganzen Welt zugreifen.

Über die Rolle: Dies ist eine freiberufliche Rolle für ein Tendem-Projekt. Als Senior Python Data Scraping Engineer sind Sie für Daten-Scraping-Aufgaben verantwortlich, die technische Präzision für die Webextraktion und -verarbeitung erfordern, wobei Sie verschiedene Tools wie unser bereitgestelltes Apify und OpenRouter sowie Ihre eigenen einfallsreichen Ansätze nutzen.

• Verantwortung für End-to-End-Datenextraktions-Workflows über komplexe Websites, um vollständige Abdeckung, Genauigkeit und zuverlässige Lieferung strukturierter Datensätze sicherzustellen.
• Nutzung interner Tools (Apify, OpenRouter) neben benutzerdefinierten Workflows zur Beschleunigung der Datensammlung, Validierung und Aufgabenausführung unter Einhaltung definierter Anforderungen.
• Sicherstellung einer zuverlässigen Extraktion aus dynamischen und interaktiven Webquellen, Anpassung der Ansätze nach Bedarf zur Handhabung von JavaScript-gerendertem Inhalt und sich änderndem Seitenverhalten.
• Durchsetzung von Datenqualitätsstandards durch Validierungsprüfungen, Quellenkonsistenzkontrollen, Einhaltung von Formatierungsspezifikationen und systematische Überprüfung vor der Lieferung.
• Skalierung der Scraping-Operationen für große Datensätze unter Verwendung effizienter Batching- oder Parallelisierungsansätze, Überwachung von Fehlern und Aufrechterhaltung der Stabilität gegenüber geringfügigen Änderungen der Seitenstruktur.

In diesem Projekt können Mitwirkende bis zu 37 $ pro Stunde verdienen, abhängig von ihrem Niveau und Tempo der Beiträge. Die Vergütung variiert je nach Projektumfang, Komplexität und erforderlicher Expertise. Bitte beachten Sie, dass andere Projekte auf der Plattform unterschiedliche Verdienstniveaus basierend auf ihren Anforderungen anbieten können.

• Mindestens 5 Jahre relevante Erfahrung in der Datenverarbeitung, im Web-Scraping, in der Automatisierung oder in der Softwareentwicklung (erforderlich).
• Abschluss als Bachelor oder Master in Ingenieurwesen, angewandter Mathematik, Informatik oder verwandten technischen Bereichen ist von Vorteil.
• Starke Erfahrung im Python-Web-Scraping (BeautifulSoup, Selenium oder ähnlich), einschließlich dynamischer Inhalte (JS, AJAX, unendliches Scrollen) und APIs über Proxys.
• Nachgewiesene Fähigkeit, Daten aus komplexen Strukturen (Hierarchien, archivierte Seiten, inkonsistentes HTML) zu extrahieren.
• Solide Kenntnisse in der Datenbereinigung, Normalisierung und Validierung, die strukturierte Datensätze (CSV, JSON, Google Sheets) liefern.
• Erfahrung im Umgang mit Anti-Bot-Mechanismen und dynamischen Seitenstrukturen in großem Maßstab.
• Erfahrung mit Cloud-Infrastruktur (AWS oder gleichwertig) und Containerisierung (Docker) als Teil realer Workflows.
• Praktische Erfahrung mit LLM-Frameworks (LangChain, OpenRouter oder ähnlich), die auf Automatisierungsaufgaben angewendet werden.
• Starke Aufmerksamkeit für Details und Engagement für Datenqualität.
• Selbstgesteuerte Arbeitsweise mit der Fähigkeit, unabhängig Probleme zu lösen.
• Ein Link zu GitHub ist von Vorteil.
• Englischkenntnisse: Oberes Mittelmaß (B2) oder höher (erforderlich).

Warum diese freiberufliche Gelegenheit eine großartige Passform für Sie sein könnte? Arbeiten Sie vollständig remote nach Ihrem eigenen Zeitplan mit nur einem Laptop und einer stabilen Internetverbindung. Sammeln Sie praktische Erfahrungen in einer einzigartigen hybriden Umgebung, in der menschliche Expertise und AI-Agenten nahtlos zusammenarbeiten – ein einzigartiges Kompetenzprofil in einem schnell wachsenden Bereich. Nehmen Sie an leistungsbasierten Bonusprogrammen teil, die qualitativ hochwertige Arbeit und konsistente Lieferung belohnen.