Remote Python ML QA Lead — Quality & Training

In dieser stundenbasierten, remote Contractor-Rolle arbeiten Sie als Python (Machine Learning) Quality Assurance Lead, um die Qualität, Konsistenz und Leistung der Trainer in Python-Machine-Learning-AI-Trainingsprojekten zu überwachen. Sie überprüfen AI-generierten Python-Code, ML-Workflows, Modell-Erklärungen und Trainer-/QA-Arbeiten; bewerten die Ausgabequalität anhand der Projektleitlinien; geben präzises schriftliches Feedback und stellen sicher, dass die Mitwirkenden die erwarteten Qualitätsstandards einhalten.

Sie bewerten die Arbeit hinsichtlich der Code-Korrektheit, der Methodik des maschinellen Lernens, der statistischen Validität, der Reproduzierbarkeit, der Qualität der Modellauswertung, der Risiken von Datenlecks, der Paketnutzung, der Genauigkeit beim Debuggen, der Lesbarkeit, der Wartbarkeit, der Formatierung, der Befolgung von Anweisungen und der Einhaltung projektspezifischer Rubriken. Diese Rolle erfordert starke Kenntnisse in Python und ML, Englischkenntnisse, hervorragende Detailgenauigkeit und die Fähigkeit, Qualitätsworkflows über remote technische Teams zu verwalten.

Ihr Profil:

• Bachelor-, Master- oder Doktortitel in Informatik, Maschinellem Lernen, Datenwissenschaft, Statistik, Mathematik, Ingenieurwesen oder einem eng verwandten quantitativen Bereich.
• Starkes Verständnis der englischen Sprache, um Richtlinien zu befolgen, mit Teams zu kommunizieren und klares technisches Feedback zu geben.
• Über 3 Jahre Berufserfahrung in der Python-Entwicklung, im maschinellen Lernen, in der Datenwissenschaft, im ML-Engineering, in der Modellauswertung, in der Forschungstechnik, in der technischen Überprüfung oder in der ML-Ausbildung.
• Starkes Verständnis der Python-Grundlagen wie Datenstrukturen, Funktionen, Klassen, Iteratoren, Komprehensionen, Ausnahmebehandlung, virtuelle Umgebungen, Paketmanagement, Tests und Debugging.
• Starkes Verständnis von ML-Themen wie überwachtes/unüberwachtes Lernen, Merkmalsengineering, Train/Test-Splits, Kreuzvalidierung, Modellauswahl, Datenleckage, Regression, Klassifikation, Clustering, Metriken, Bias/Varianz, Regularisierung und Reproduzierbarkeit.
• Fähigkeit, ML-Inhalte anhand detaillierter Rubriken zu bewerten und Probleme wie fehlerhafte Methodik, falsche Metriken, Datenleckage, nicht reproduzierbaren Code, ungültige Annahmen, halluzinierte APIs, irreführende Schlussfolgerungen oder unvollständige Erklärungen zu identifizieren.
• Vertrautheit mit NumPy, pandas, scikit-learn, PyTorch, TensorFlow/Keras, XGBoost/LightGBM, Jupyter, matplotlib, seaborn, MLflow, Hugging Face, SQL, GitHub, Docker und CI/CD ist von Vorteil.
• Erfahrung in der Leitung oder Unterstützung von Remote-Teams von Trainern, Annotatoren, Prüfern, Ingenieuren, Datenwissenschaftlern, ML-Forschern, Coding-Mentoren oder QAs ist sehr wünschenswert.
• Komfortabel in schnelllebigen Remote-Umgebungen mit Discord, Google Sheets, Google Docs, Trackern, Dashboards, GitHub und Projektmanagementsystemen.
• Hochgradig organisiert und in der Lage, Stilrichtlinien, Tracker, FAQs, Einarbeitungsunterlagen, Honeypots, Kalibrierungsaufgaben und Qualitätsdokumentation zu pflegen.
• Erfahrung mit AI-Training, Datenannotation, LLM-Evaluierung, Code-QA, ML-QA oder rubric-basierter technischer Überprüfung ist ein starkes Plus.

Wichtige Verantwortlichkeiten:

• Qualitätsüberwachung: Spot-Checks von Python-ML-Elementen, Identifizierung von Qualitätsproblemen, Bereitstellung von Feedback über DMs und Eskalation wiederkehrender oder kritischer Probleme.
• Code- und ML-Überprüfung: Bewertung von AI-generiertem Python-Code, ML-Pipelines, Datenvorverarbeitungsschritten, Modelltrainings-Workflows, Bewertungslogik, Debugging-Antworten und Erklärungen auf Korrektheit und Reproduzierbarkeit.
• Trainer- und QA-Kommunikation: Aktualisierung der Mitwirkenden auf Discord über Änderungen der Richtlinien, Workflow-Updates und Python/ML-spezifische Überprüfungsstandards.
• Fragenbearbeitung: Beantwortung von Fragen zu Python-Syntax, Paketnutzung, Datenleckage, Modellvalidierung, Metriken, statistischen Annahmen, Reproduzierbarkeit, Notebooks und Rubrikinterpretation.
• Aktivierungsmanagement für Trainer/QA: DM an inaktive Mitwirkende, Aktivierung fördern, Nachverfolgung und Verfügbarkeitsprobleme kennzeichnen.
• Dokumentation: Erstellung und Pflege von Python-ML-Stilrichtlinien, Trackern, FAQs, Beispielen, Honeypots, Kalibrierungsaufgaben und Einarbeitungsunterlagen.
• Einarbeitung und Schulung: Durchführung von Einarbeitungs-/Schulungsgesprächen für Python-ML-Mitarbeiter.
• Risikobewertung: Kennzeichnung von irreführenden, übermäßig zuversichtlichen, statistisch ungültigen, nicht reproduzierbaren, unsicheren oder nicht produktionsbereiten Python-ML-Empfehlungen.
• Prozessverbesserung: Identifizierung wiederkehrender Qualitätslücken und Aufbau skalierbarer QA-Prozesse.