Machine Learning Engineer (m/w/d) - Foundation Models

WeSort ist ein Hightech-Start-up aus Würzburg, das KI-basierte Recyclinglösungen entwickelt und damit einen wichtigen Beitrag zur Kreislaufwirtschaft kritischer Rohstoffe (Critical Raw Materials) leistet. Unsere Systeme sind bereits im industriellen Einsatz, unter anderem bei Schwarz/Lidl bzw. deren Umweltdienstleister PreZero. Unsere Technologie wurde mehrfach ausgezeichnet, unter anderem mit dem Deutschen Gründerpreis (verliehen von Porsche und ZDF), und WeSort ist Teil des SprinD-Programms (Agentur für Sprunginnovationen). Darüber hinaus war unser Team mit seiner Arbeit bereits in Formaten wie Galileo, ZDF WISO, der WirtschaftsWoche und der Süddeutschen Zeitung vertreten.

Für den nächsten großen Schritt suchen wir einen talentierten Machine Learning Engineer (m/w/d) mit Schwerpunkt Computer Vision und Foundation Models, der/die mit uns ein eigenes „Waste Foundation Model" auf Basis modernster Architekturen wie DINOv2, SigLIP oder EVA-02 aufbaut – die technologische Grundlage, auf der alle unsere zukünftigen Computer-Vision-Anwendungen aufsetzen werden. Wir betreiben heute eine der größten kontinuierlich wachsenden Datenbasen gelabelter Abfallbilder weltweit – aus realen Sortieranlagen, über mehrere Stoffströme, Lichtverhältnisse und Verschmutzungsgrade hinweg. Diese Daten sind unser strategischer Vorteil. Daraus wollen wir ein domänen-adaptiertes Vision Foundation Model entwickeln, das als Backbone für sämtliche Downstream-Tasks (Detection, Klassifikation, Anomalie-Erkennung, Few-Shot-Learning) dient.

Bereich: Software, Data & Artificial Intelligence

Arbeitsort: Office-based in Würzburg

Vertragsart: Festanstellung in Vollzeit

Start: ab sofort

Aufgaben

• Du entwickelst und trainierst unsere domänenspezifischen Vision-Modelle auf Basis aktueller State-of-the-Art-Architekturen und nutzt unsere Abfallbild-Datenbasis für Pretraining und Continued Pretraining.
• Du gestaltest unsere komplette ML-Trainings-Pipeline: von der Datenaufbereitung über verteiltes Training (PyTorch FSDP/DDP, Mixed Precision) bis zur Modell-Versionierung.
• Du baust und pflegst unsere Eval Suite – die zentrale Infrastruktur, die misst, ob unsere Modelle wirklich besser werden: Linear Probing, k-NN-Probing, Few-Shot-Detection, Cross-Domain-Generalization, Anomalie-Detection.
• Du finetunst und destillierst unsere Modelle für konkrete Downstream-Tasks und Edge-Hardware (Sortieranlagen, GPU-Inferenz).
• Du analysierst Trainings-Runs systematisch, identifizierst Probleme wie Feature Collapse oder Domain Shift und entwickelst nachhaltige Lösungen statt kurzfristiger Workarounds.
• Du arbeitest eng mit dem Cloud-Backend-Team zusammen, um Modelle effizient ins Deployment zu bringen (ONNX, TensorRT, OpenVINO).
• Du verfolgst aktiv die Forschungsentwicklung im Bereich Computer Vision und übersetzt relevante Paper in produktive Lösungen.
• Du denkst über das Modell hinaus und hast im Blick, wie deine Arbeit im realen Betrieb wirkt – für Sortieranlagen, Kunden und das Gesamtsystem.

Qualifikation

• Du bringst mehrjährige Erfahrung in der Entwicklung und im Training von Computer-Vision-Modellen mit, idealerweise mit modernen Vision-Transformer-Architekturen und Self-Supervised-Learning-Methoden.
• Du beherrschst PyTorch sicher – inklusive verteiltem Training (DDP, FSDP), gemischter Präzision (bf16/fp16) und Performance-Optimierung (torch.compile, Profiling).
• Du verstehst nicht nur, wie man ein Modell trainiert, sondern auch wie man evaluiert. Du weißt, dass eine schwache Eval Suite jedes Pretraining wertlos macht.
• Du hast Erfahrung mit modernen ML-Tooling-Stacks für Konfigurations-Management, Experiment-Tracking, Daten-Versionierung und Backbone-Bibliotheken.
• Du nutzt moderne KI-Tools (z.B. Claude, Copilot), um Routine-Coding zu beschleunigen und dich auf die wirklich harten Forschungs- und Architekturfragen zu konzentrieren.
• Du hast ein gutes Verständnis für Datenpipelines bei großen Datenmengen (Millionen Bilder): effiziente Datenformate, GPU-Augmentations, I/O-Bottlenecks.
• Erfahrung mit gängigen Detection-/Segmentation- sowie Anomalie-Detection-Frameworks ist von Vorteil.
• Du kennst dich mit Inferenz-Optimierung und Modell-Distillation aus und hast idealerweise schon Modelle auf Edge-Hardware deployed.
• Ausgeprägte Problemlösefähigkeit, analytisches Denken und wissenschaftliche Sorgfalt – du arbeitest hypothesengetrieben und nicht nach dem Try-and-Error-Prinzip.
• Sicherer Umgang mit Cloud-GPU-Infrastruktur (AWS, Azure, GCP oder On-Premise H100/A100-Cluster).
• Fließende Deutsch- sowie gute Englischkenntnisse werden vorausgesetzt.
• Idealerweise hast du eigene Forschungserfahrung (Paper, Open-Source-Beiträge, Konferenz-Talks) oder bist promoviert – kein Muss, aber ein Plus.

Benefits

• Arbeit auf der „grünen Wiese" – Aufbau einer eigenen Foundation-Model-Strategie ohne Altlasten oder technische Schulden.
• Zugang zu einer einzigartigen, wachsenden Datenbasis aus realen Sortieranlagen – ein strategischer Vorteil, den keine Universität und kaum ein Wettbewerber hat.
• Einsatz aktueller Frameworks und eines top-modernen Tech-Stacks (PyTorch 2.x, FSDP, Hydra, W&B, DVC, timm).
• Substanzielle Compute-Ressourcen für Pretraining-Runs – wir wissen, dass ernsthaftes Foundation-Model-Training kein Hobby-Projekt ist.
• Enge Zusammenarbeit mit Forschungspartnern (u.a. THWS Würzburg im Rahmen von Green-INNO) und die Möglichkeit, eigene Forschungsergebnisse zu publizieren.
• Arbeiten in einem dynamischen und interdisziplinären Start-Up-Team mit viel Verantwortung und Gestaltungsspielraum von Anfang an.
• Kurze Entscheidungswege und eine Kommunikation ohne Umwege.
• Technologie mit Sinn: Du arbeitest an den größten Hebeln unserer Zeit – KI, Recycling und Circular Economy.