Machine Learning Engineer (m/w/d) - Foundation Models

Position Machine Learning Engineer (m/w/d) mit Schwerpunkt Computer Vision und Foundation Models.

Ort & Vertrag: Office-based in Würzburg – Festanstellung in Vollzeit.

Aufgaben:

• Entwicklung und Training eines eigenen „Waste Foundation Models“ (z. B. DINOv2, SigLIP, EVA‑02) durch Continued Pretraining (self‑supervised) auf einer großen Abfallbild‑Datenbasis.
• Gestaltung der kompletten ML‑Trainings‑Pipeline: Datenaufbereitung (WebDataset, FFCV), verteiltes Training (PyTorch FSDP/DDP, Mixed Precision) und Modell‑Versionierung.
• Betrieb der Eval‑Suite (Linear Probing, k‑NN‑Probing, Few‑Shot‑Detection, Cross‑Domain‑Generalization, Anomalie‑Detection) zur kontinuierlichen Qualitätsmessung.
• Finetuning und Distillation von Modellen für konkrete Down‑stream‑Tasks und Edge‑Hardware (Sortieranlagen, GPU‑Inference).
• Systematische Analyse von Trainings‑Runs, Identifikation von Problemen wie Feature Collapse oder Domain Shift sowie Entwicklung nachhaltiger Lösungen.
• Enge Zusammenarbeit mit dem Cloud‑Backend‑Team zur effizienten Deployment‑Integration (ONNX, TensorRT, OpenVINO).
• Aktive Verfolgung der Forschungsentwicklung im Bereich Vision Foundation Models und Umsetzung relevanter Papers in produktive Lösungen.
• Ganzheitliche Betrachtung der Betriebswirkung von Modellen – Kunden, Sortieranlagen und Gesamtsystem.

Qualifikationen:

• Mehrjährige Erfahrung in der Entwicklung und im Training von Computer‑Vision‑Modellen, idealerweise mit Vision Transformers und Self‑Supervised‑Learning‑Methoden (DINO, MAE, iBOT, CLIP).
• Expertenkenntnisse in PyTorch (inkl. Distributed Training, Mixed Precision, Performance Optimierung).
• Kenntnis moderner Evaluations‑Strategien – keine schwachen Eval‑Suites.
• Erfahrung mit ML‑Tooling‑Stacks: Hydra, Weights & Biases oder MLflow, DVC, timm.
• Einsetzbare moderne KI‑Tools (z. B. Claude, Copilot) zur effizienten Code‑Erstellung.
• Verständnis großer Datenpipelines (Millionen Bilder) – Tar‑Sharding, GPU‑Augmentations (DALI), I/O‑Bottlenecks.
• Vorteil: Erfahrung mit Detection/Segmentation‑Frameworks (MMDetection, MMSegmentation) und Anomalie‑Detection (anomalib).
• Kenntnisse in Inferenz‑Optimierung und Modell‑Distillation (z. B. ViT‑L → ViT‑S); bevorzugt Modelle auf Edge‑Hardware deployed.
• Analytisches Denkvermögen, wissenschaftliche Sorgfalt, hypothesengetriebenes Arbeiten.
• Erfahrener Umgang mit Cloud‑GPU‑Infrastruktur (AWS, Azure, GCP oder On‑Premise H100/A100‑Cluster).
• Fließende Deutschkenntnisse (mind. C1) und gute Englischkenntnisse.
• Optional: Eigenständige Forschungserfahrung (Paper, Open‑Source-Beiträge, Konferenz‑Talks) oder Promotion – kein Muss.

Benefits:

• Arbeit in „grüner Wiese“ – Aufbau einer Foundation‑Model‑Strategie ohne Altlasten.
• Zugang zur einzigartigen, wachsenden Datenbasis aus realen Sortieranlagen.
• Einsatz aktueller Frameworks und modernem Tech‑Stack (PyTorch 2.x, FSDP, Hydra, W&B, DVC, timm).
• Substanzielle Compute‑Ressourcen für Pretraining‑Runs.
• Enge Zusammenarbeit mit Forschungspartnern (THWS Würzburg, Green‑INNO) sowie Publikationsmöglichkeiten.
• Dynamic, interdisziplinäres Start‑Up‑Team mit viel Verantwortung und Gestaltungsspielraum.
• Kurze Entscheidungswege und offene Kommunikation.
• Technologie mit Sinn: KI, Recycling und Circular Economy.