Ground Truth Ops Specialist

Bei Moody's vereinen wir die klügsten Köpfe, um die Risiken von heute in die Chancen von morgen zu verwandeln. Wir streben danach, ein inklusives Umfeld zu schaffen, in dem sich jeder willkommen fühlt, so zu sein, wie er ist – mit der Freiheit, Ideen auszutauschen, innovativ zu denken und einander sowie unseren Kunden auf sinnvolle Weise zuzuhören. Moody's transformiert, wie die Welt Risiko sieht. Als globaler Marktführer in Ratings und integrierter Risikobewertung treiben wir KI voran, um von Einsicht zu Handlung überzugehen – und ermöglichen eine Intelligenz, die nicht nur Komplexität versteht, sondern auch darauf reagiert. Wir entschlüsseln Risiko, um Chancen freizusetzen und unseren Kunden zu helfen, Unsicherheiten mit Klarheit, Geschwindigkeit und Vertrauen zu navigieren.

Wir suchen Kandidaten, die unsere Werte verkörpern: in jede Beziehung investieren, mit Neugier führen, vielfältige Perspektiven fördern, Eingaben in Handlungen umsetzen und Vertrauen durch Integrität wahren.

Fähigkeiten und Kompetenzen

• Erfahrung in der Durchführung oder Unterstützung von KI-Datenkennzeichnungs- und Annotierungsbemühungen, einschließlich Kampagnenmanagement, QA oder Anbieterkordination
• Praktische Vertrautheit mit professionellen KI-Kennzeichnungsplattformen wie Labelbox, Dataloop, Scale oder ähnlichen Tools
• Starkes analytisches Denken mit der Fähigkeit, Kennzeichnungsdistributions-, Konsensmetriken und Fehleranalysen zu interpretieren
• Kenntnisse in Python für Analyse und Automatisierung, einschließlich der Nutzung von Jupyter-Notebooks
• Komfort im Umgang mit Tabellenkalkulationen und grundlegender Analyse mit SQL und/oder Python
• Starke operative und projektmanagementfähigkeiten, mit der Fähigkeit, mehrere gleichzeitige Kampagnen zu verwalten
• Hohe Aufmerksamkeit für Details und Sorgfalt bei Dokumentation, Taxonomie-Definition und QA-Prozessen
• Klare schriftliche und mündliche Kommunikationsfähigkeiten zur Zusammenarbeit mit technischen Teams und externen Anbietern
• Fähigkeit, konstruktives Feedback zu geben und zu empfangen, um Kennzeichnungsanweisungen und Ergebnisse zu verbessern
• Erfahrung mit Computer Vision, geospatialen Daten oder ML-Workflows ist von Vorteil

Bildung

• Master-Abschluss in einem quantitativen, analytischen oder technischen Bereich

Verantwortlichkeiten

• Diese Rolle verantwortet den gesamten Lebenszyklus von Kampagnen zur Sammlung von Ground Truth-Daten, indem sie die Anforderungen des maschinellen Lernens in qualitativ hochwertige gekennzeichnete Datensätze übersetzt, die zentrale Produkte der Computer Vision antreiben.
• Zusammenarbeit mit ML- und Data Science-Leitern, um Modellanforderungen in klare Kennzeichnungstaxonomien und konkrete Kennzeichnungsaufgaben zu übersetzen
• Entwurf und Durchführung interner Goldstandardkampagnen zur Validierung von Taxonomien und Sicherstellung der Abdeckung von Grenzfällen
• Konfiguration und Verwaltung von Annotierungsprojekten, einschließlich Hochladen von Bildern, Geometrien und Metadaten sowie Export von gekennzeichneten Daten
• Koordination mit externen Kennzeichnungsanbietern, einschließlich Taxonomieschulung, Beispiel-Durchläufen und fortlaufendem Feedback
• Bewertung der Anbieterleistung anhand von Golddatensätzen, Verwirrungsmatrizen und Qualitätsberichten, um die Bereitschaft zur Skalierung zu bestimmen
• Start und Überwachung von Produktionskennzeichnungskampagnen, Verfolgung von Durchsatz, SLAs und Gesamtfortschritt
• Beantwortung von Fragen der Mitarbeiter, Klärung von Taxonomie-Unklarheiten und proaktive Identifizierung von Werkzeug- oder Workflow-Problemen
• Überwachung der Kennzeichnungsqualität und Konsensmetriken, Einleitung zusätzlicher Abstimmungsrunden oder manueller QA, wo nötig
• Überprüfung von Bereichen mit geringer Übereinstimmung und Vorschlag von Taxonomieanpassungen, Klarstellungen oder Streichungen
• Erstellung finaler Ground Truth-Datensätze, Sicherstellung, dass Qualitätsstandards erfüllt sind und Daten klar für ML-Datenverbrauch dokumentiert sind
• Pflege des Kampagnenstatus und der Dokumentation, damit die Stakeholder klare Sichtbarkeit in die Datenbereitschaft haben
• Beitrag zur kontinuierlichen Verbesserung der Prozesse, Werkzeuge und Best Practices für Ground Truth

Über das Team

Sie werden Teil von Cape by Moody’s, einem Team, das sich auf die Bereitstellung hochpräziser Immobilienanalysen aus Luftbildern und fortschrittlichem maschinellen Lernen konzentriert. Ground Truth-Daten sind zentral für die Mission des Teams, und diese Rolle arbeitet eng mit Datenwissenschaftlern, ML-Ingenieuren und Produktpartnern in Europa und Nordamerika in einer kollaborativen, remote-freundlichen Umgebung zusammen.

Moody’s ist ein Arbeitgeber, der Chancengleichheit bietet. Alle qualifizierten Bewerber erhalten unabhängig von Rasse, Hautfarbe, Religion, Geschlecht, nationaler Herkunft, Behinderung, geschütztem Veteranenstatus, sexueller Orientierung, Geschlechtsausdruck, Geschlechtsidentität oder einer anderen gesetzlich geschützten Eigenschaft Berücksichtigung für eine Anstellung.