Senior Software Engineer (Python)

Wir suchen derzeit einen Senior Software Engineer (Python) in Deutschland. Diese Rolle ist eine hochwirksame Gelegenheit für einen erfahrenen Backend-/datenfokussierten Ingenieur, der gerne groß angelegte, verteilte Systeme entwickelt, die Datenextraktion, -verarbeitung und -suche im großen Maßstab ermöglichen. Sie werden an komplexen Crawling- und Ingestionspipelines arbeiten, die Daten aus verschiedenen Quellen wie Webseiten, APIs, PDFs und Dokumenten sammeln und strukturieren. Die Umgebung ist schnelllebig, kollaborativ und ingenieurgesteuert, mit einem starken Fokus auf Eigenverantwortung, Skalierbarkeit und Problemlösung. Sie werden zur Gestaltung robuster Datenarchitekturen beitragen, die nachgelagerte Analysen, Klassifikationen und Anwendungsfälle für maschinelles Lernen unterstützen.

Zu den Verantwortlichkeiten gehören:

• Entwurf und Wartung großangelegter Dateninjektions- und Verarbeitungssysteme, die Such- und Klassifikationsfähigkeiten unterstützen.
• Entwicklung robuster Datenpipelines zur Extraktion, Verarbeitung und Normalisierung von Daten aus Webseiten, APIs, PDFs und anderen Dokumentformaten.
• Aufbau und Wartung von Systemen zur Vereinheitlichung heterogener Daten in strukturierten, konsistenten Schemata für die nachgelagerte Nutzung.
• Implementierung von Vorverarbeitungs- und Transformationslogik zur Unterstützung von ML/NLP-Modellen, Klassifikationssystemen und Suchindizes.
• Entwicklung von APIs und Diensten, die strukturierte Daten über ElasticSearch/OpenSearch bereitstellen.
• Zusammenarbeit mit ML- und Data-Science-Teams zur Integration von Klassifikationsmodellen in Produktionspipelines.
• Automatisierung von Workflows mit Tools wie Apache Airflow und Bereitstellung skalierbarer Systeme mit Kubernetes und AWS.
• Optimierung und Skalierung von Datenverarbeitungs-Pipelines mit verteilten Rechenframeworks wie Spark (EMR).

Diese Rolle erfordert starke Backend-Engineering-Expertise mit tiefen Erfahrungen in Python und großangelegten Datensystemen:

• 5+ Jahre Berufserfahrung in der Python-Entwicklung, insbesondere in Web-Scraping und Datenpipeline-Systemen im großen Maßstab.
• Starke Erfahrung mit REST-APIs und der Verarbeitung strukturierter und unstrukturierter Datenformate (einschließlich PDFs und OCR-Tools wie Tesseract oder PyMuPDF).
• Solides Verständnis von Such- und Datentechnologien wie ElasticSearch/OpenSearch sowie relationalen oder NoSQL-Datenbanken.
• Praktische Erfahrung mit verteilten Verarbeitungsframeworks wie Apache Airflow und Spark (EMR oder gleichwertig).
• Starke Problemlösungsfähigkeiten, insbesondere im Umgang mit Anti-Scraping-Mechanismen, Skalierungsherausforderungen und Datenkomplexität.
• Erfahrung in Cloud-Umgebungen wie AWS oder GCP.
• Gutes Verständnis der Systemdesignprinzipien für skalierbare und resiliente Backend-Systeme.
• Vertrautheit mit Kubernetes und containerisierten Bereitstellungen ist von Vorteil.
• Kenntnisse in ML/NLP-Konzepten, LLMs oder Frameworks wie spaCy, Hugging Face, TensorFlow oder PyTorch sind von Vorteil.

Vorteile:

• Wettbewerbsfähiges Gehalt, das mit der Expertise auf Senior-Level übereinstimmt.
• Vollständig remote Flexibilität mit Zusammenarbeit im verteilten Team.
• Umfassende Gesundheitsversorgung einschließlich medizinischer, zahnärztlicher, augenärztlicher und verschreibungspflichtiger Pläne.
• Bezahlte Freizeit, Elternzeit und Krankheitsurlaub für Mitarbeiter und Familienpflege.
• Altersvorsorgeplan mit Arbeitgeberbeiträgen.
• Flexible Ausgabenrechnungen (FSA) und Gesundheitsersparniskonten (HSA).
• Wellnessunterstützung, einschließlich Ressourcen für psychische Gesundheit und monatliche Wellness-Zuschüsse.
• Unterstützung bei der Einrichtung des Homeoffice nach einem Jahr Beschäftigung.
• Unterstützung für kontinuierliches Lernen und berufliche Entwicklung.
• Inklusive, kollaborative Unternehmenskultur mit starkem ingenieurtechnischen Eigentum und Einfluss.