Senior Data Scraping Engineer (Python)

Mindrift sucht hochqualifizierte Python Data Scraping Engineers, um das Tendem-Projekt zu unterstützen und spezialisierte Daten-Scraping-Workflows innerhalb unseres hybriden AI + menschlichen Systems voranzutreiben. In dieser Rolle, als AI Pilot – so bezeichnen wir diese Rolle bei Mindrift – arbeiten Sie mit Tendem Agents zusammen, die sich um repetitive Aufgaben kümmern, während Sie kritisches Denken, Fachwissen und Qualitätskontrolle bereitstellen, um genaue und umsetzbare Ergebnisse zu liefern. Diese Teilzeit-Remote-Möglichkeit ist ideal für technische Fachkräfte mit praktischer Erfahrung im Web-Scraping, der Datenerfassung und -verarbeitung.

Was wir tun: Die Mindrift-Plattform verbindet Spezialisten mit AI-Projekten von großen Technologieinnovatoren. Unsere Mission ist es, das Potenzial von Generative AI zu erschließen, indem wir auf das reale Fachwissen aus der ganzen Welt zugreifen.

Über die Rolle: Dies ist eine freiberufliche Rolle für ein Tendem-Projekt. Als Python Data Scraping Engineer übernehmen Sie Daten-Scraping-Aufgaben, die technische Präzision für die Webextraktion und -verarbeitung erfordern, wobei Sie verschiedene Tools wie unser bereitgestelltes Apify und OpenRouter sowie Ihre eigenen einfallsreichen Ansätze nutzen.

Hauptverantwortlichkeiten:

• Verantwortung für End-to-End-Datenextraktions-Workflows über komplexe Websites, um vollständige Abdeckung, Genauigkeit und zuverlässige Lieferung strukturierter Datensätze sicherzustellen.
• Nutzung interner Tools (Apify, OpenRouter) neben benutzerdefinierten Workflows zur Beschleunigung der Datensammlung, Validierung und Aufgabenausführung unter Einhaltung definierter Anforderungen.
• Sicherstellung einer zuverlässigen Extraktion aus dynamischen und interaktiven Webquellen, Anpassung der Ansätze nach Bedarf zur Handhabung von JavaScript-gerendertem Inhalt und sich änderndem Seitenverhalten.
• Durchsetzung von Datenqualitätsstandards durch Validierungsprüfungen, Konsistenzkontrollen über Quellen hinweg, Einhaltung von Formatierungsspezifikationen und systematische Überprüfung vor der Lieferung.
• Skalierung der Scraping-Operationen für große Datensätze unter Verwendung effizienter Batching- oder Parallelisierungsansätze, Überwachung von Fehlern und Aufrechterhaltung der Stabilität gegenüber geringfügigen Änderungen der Seitenstruktur.

Vergütung:

Auf diesem Projekt können Mitwirkende bis zu 37 $ pro Stunde verdienen, abhängig von ihrem Niveau und Tempo der Beiträge. Die Vergütung variiert je nach Projektumfang, Komplexität und erforderlicher Expertise.

Wie man anfängt:

Bewerben Sie sich einfach auf diesen Beitrag, qualifizieren Sie sich und erhalten Sie die Chance, zu Projekten beizutragen, die Ihren technischen Fähigkeiten entsprechen, in Ihrem eigenen Zeitplan. Von Codierung und Automatisierung bis hin zur Feinabstimmung von AI-Ausgaben spielen Sie eine Schlüsselrolle bei der Weiterentwicklung von AI-Fähigkeiten und realen Anwendungen.

Anforderungen:

• Mindestens 3 Jahre relevante Erfahrung in Datenengineering, Web-Scraping, Automatisierung oder Softwareentwicklung (erforderlich).
• Bachelor- oder Master-Abschluss in Ingenieurwesen, angewandter Mathematik, Informatik oder verwandten technischen Bereichen ist von Vorteil.
• Starke Erfahrung im Python-Web-Scraping (BeautifulSoup, Selenium oder ähnlich), einschließlich dynamischer Inhalte (JS, AJAX, unendliches Scrollen) und APIs über Proxys.
• Nachweisliche Fähigkeit, Daten aus komplexen Strukturen (Hierarchien, archivierte Seiten, inkonsistentes HTML) zu extrahieren.
• Solide Kenntnisse in der Datenbereinigung, Normalisierung und Validierung, die strukturierte Datensätze (CSV, JSON, Google Sheets) liefern.
• Praktische Erfahrung mit LLMs und AI-Frameworks zur Verbesserung von Automatisierung und Problemlösung.
• Starke Aufmerksamkeit für Details und Engagement für Datenqualität.
• Selbstgesteuerte Arbeitsweise mit der Fähigkeit, unabhängig Probleme zu beheben.
• Ein Link zu GitHub ist von Vorteil.
• Englischkenntnisse: Oberes Mittelmaß (B2) oder höher (erforderlich).

Vorteile:

Warum diese freiberufliche Gelegenheit eine großartige Passform für Sie sein könnte? Arbeiten Sie vollständig remote nach Ihrem eigenen Zeitplan mit nur einem Laptop und einer stabilen Internetverbindung. Sammeln Sie praktische Erfahrungen in einer einzigartigen hybriden Umgebung, in der menschliche Expertise und AI-Agenten nahtlos zusammenarbeiten – ein einzigartiges Kompetenzprofil in einem schnell wachsenden Bereich. Nehmen Sie an leistungsbasierten Bonusprogrammen teil, die qualitativ hochwertige Arbeit und konsistente Lieferung belohnen.