Postdoctoral Position in Machine Learning for Automated Plant Phenotyping (PhenoMix Project)

Das Swiss Data Science Center (SDSC) und die Crop Science Group der ETH Zürich suchen einen Postdoktoranden für das PhenoMix-Projekt, eine vom Schweizerischen Nationalfonds (SNSF) finanzierte Initiative.

Projekt Hintergrund

Das PhenoMix-Projekt befasst sich mit der kritischen Herausforderung der automatisierten Phänotypisierung von Mischkulturen und nutzt die Field Imaging Platform (FIP) sowie Feldexperimente, um beispiellose multimodale Datensätze von Reinsaaten und Mischkulturen zu generieren.

Der Postdoktorand wird neuartige Datenwissenschaftswerkzeuge entwickeln und die Verarbeitung von Bild-Zeitserien, Pflanzenmerkmalinformationen und 3D-Rekonstruktionen automatisieren, um fortschrittliche Methoden des maschinellen Lernens mit praktischen landwirtschaftlichen Anwendungen zu verbinden.

Verantwortlichkeiten und Forschungsfokus

• Foundation Models for Phenotyping: Anpassung vortrainierter Foundation-Modelle zur Schätzung von Pflanzenmerkmalen in Reinsaaten und Mischkulturen, Minimierung des Rechen- und Annotierungsaufwands bei gleichzeitiger Maximierung der Generalisierung.
• Domain Transfer Methods: Entwicklung pflanzenbewusster bildbasierter Techniken zum Domänenwechsel, um Modelle, die auf hochauflösenden FIP-Bildern trainiert wurden, effektiv mit Bildern von schlanken Geräten (z. B. Smartphones) arbeiten zu lassen.
• 3D Reconstruction and Rendering: Erstellung von 3D-Punktwolken aus Mehransicht-Setups und Rendering realistischer 2D-Bilder aus verschiedenen Blickwinkeln unter Verwendung generativer Modelle, neuronaler Rendering-Techniken und impliziter Modelle.
• Human-in-the-Loop Approaches: Implementierung aktiver Lernstrategien, die Expertenfeedback zur Inferenzzeit einbeziehen, um eine Echtzeitkorrektur und -verbesserung des Modells mit minimalem Beschriftungsbudget zu ermöglichen.
• Field Evaluation: Durchführung rigoroser qualitativer und quantitativer Bewertungen der entwickelten Modelle in landwirtschaftlichen Feldversuchen und Integration von Expertenfeedback zur Verbesserung der Leistung.
• Data Product Generation: Vorbereitung umfassender Zeitseriendatensätze abgeleiteter Produkte, einschließlich Rohdaten, 3D-Rekonstruktionen, Modellschätzungen und Referenzmessungen für nachgelagerte Analysen.
• Software Development: Entwicklung und Pflege von Codebasen für die implementierten Methoden, um Reproduzierbarkeit sicherzustellen und zukünftige Forschung und Anwendungen in der Pflanzenphänotypisierung zu erleichtern.

Forschung und Entwicklung

• Entwurf, Entwicklung und Implementierung von Ansätzen auf Basis von Foundation-Modellen für die Multi-Merkmal-Pflanzenphänotypisierung.
• Erweiterung und Implementierung domänenspezifischer und pflanzenspezifischer, physiologisch plausibler Modelle des maschinellen Lernens.
• Entwicklung und Bewertung von Methoden zum Domänenwechsel und zur Anpassung über Plattformen hinweg.
• Entwurf und Bereitstellung von Human-in-the-Loop- und aktiven Lernstrategien.
• Durchführung von Feldversuchen und Bewertung der Modellleistung unter realen Bedingungen.
• Engagement mit verschiedenen Interessengruppen, einschließlich Forschern, Landwirten und Züchtern.

Zusammenarbeit und wissenschaftliche Kommunikation

• Verarbeitung und Mitgestaltung großangelegter multimodaler Datensätze aus der FIP und Feldversuchen.
• Betreuung und Zusammenarbeit mit Studierenden auf verschiedenen Ebenen, Bereitstellung von Anleitung und Aufsicht.
• Beitrag zu bestehenden Codebasen und Engagement in Open-Source-Communities.
• Vorbereitung wissenschaftlicher Publikationen für erstklassige Konferenzen im Bereich maschinelles Lernen und Agrarwissenschaften.
• Präsentation von Forschungsergebnissen auf Konferenzen, Seminaren und Workshops.
• Kommunikation komplexer technischer Konzepte an sowohl Fach- als auch Laienpublikum.

Profil

• Bildung: Promotion in Informatik, maschinellem Lernen, Datenwissenschaft oder einem verwandten Bereich (z. B. Pflanzenphänotypisierung, Agrarwissenschaften, Umweltwissenschaften) mit nachgewiesener Expertise im maschinellen Lernen und in der Computer Vision.
• Nachgewiesene Forschungsexzellenz durch Veröffentlichungen in relevanten Fachzeitschriften.

Technische und Forschungskompetenz:

• Starker Hintergrund in maschinellem Lernen und tiefem Lernen, insbesondere Computer Vision, mit praktischer Erfahrung in Foundation-Modellen, Transferlernen und Domänenanpassung.
• Solide Erfahrung mit modernen Deep-Learning-Frameworks (PyTorch bevorzugt).
• Nachgewiesene Fähigkeit in wissenschaftlichem Programmieren und Prototyping in Python.
• Fähigkeit, Forschungsfragen zu formulieren und Experimente unabhängig zu entwerfen.
• Erfahrung im Umgang mit großen und komplexen multimodalen Datensätzen.

Soziale Kompetenzen:

• Exzellente Kommunikationsfähigkeiten in Englisch (schriftlich und mündlich).
• Positive Einstellung zur interdisziplinären Zusammenarbeit.
• Fähigkeit, unabhängig zu arbeiten und gleichzeitig zu den Teamzielen beizutragen.

Weitere vorteilhafte/relevante Kompetenzen:

• Erfahrung mit 3D-Rekonstruktionstechniken (Struktur aus Bewegung, neuronales Rendering usw.).
• Kenntnisse in aktivem Lernen, Human-in-the-Loop, Bayesian Optimierung.
• Vertrautheit mit Agrarwissenschaften, Pflanzenphänotypisierung oder verwandten Bereichen.
• Erfahrung in der Implementierung, dem Training und der Bewertung von Modellen für spatio-temporale Daten.
• Interesse an nachhaltiger Landwirtschaft, Pflanzenwissenschaft oder Herausforderungen in der Lebensmittelsicherheit.

Arbeitsplatz

Die Position wird im Büro des SDSC in Zürich (Andreasturm) angesiedelt sein, mit enger Zusammenarbeit mit der Crop Science Group (Prof. Walter) und der Grassland Sciences Group (Prof. Buchmann) am Departement für Umweltwissenschaften der ETH Zürich sowie mit AGROSCOPE (Dr. Vogelgsang).

Wir bieten

• Ein stimulierendes, kollaboratives, diverses und interdisziplinäres Forschungsumfeld.
• Die Möglichkeit, mit modernster Phänotypisierungsinfrastruktur und Datensätzen zu arbeiten.
• Zugang zu Rechenressourcen und neuesten Werkzeugen des maschinellen Lernens.
• Die Möglichkeit, Forschung in erstklassigen Konferenzen und Zeitschriften zu veröffentlichen.
• Die Möglichkeit zu reisen und Arbeiten auf internationalen Veranstaltungen zu präsentieren.
• Einbindung in die Betreuung von MSc- und BSc-Studierenden.
• Teilnahme an Vorlesungen und Lehraktivitäten.
• Position, die im Swiss Data Science Center mit Büros an der ETH Zürich und EPFL gehostet wird.
• Kollaboratives Umfeld, das mehrere Institutionen und Forschungsgruppen innerhalb von PhenoMix und darüber hinaus umfasst.
• Wir legen Wert auf eine ausgewogene Work-Life-Balance.
• Schöne Standorte in Zürich mit hervorragender Lebensqualität.

Startdatum und Dauer

Startdatum: August oder nach gegenseitiger Vereinbarung. Dauer: Bis zu 4 Jahre (Dauer der SNSF-Projektfinanzierung).

Die ETH Zürich fördert Chancengleichheit, schätzt Vielfalt und bemüht sich um die Schaffung eines integrativen Umfelds, das die Rechte und Würde aller Mitarbeiter und Studierenden fördert.