Senior AI Engineer, Agentic Evaluation & V&V

Bei Slingshot Aerospace haben wir die Mission, den Weltraum für alle sicherer und geschützter zu machen. Unsere Arbeit hat direkte Auswirkungen auf die globale Sicherheit, Katastrophenreaktion, Klimamonitoring und die kritische Infrastruktur, die unsere Welt verbindet. Wir sind ein Team von Machern, Denkern und Problemlösern, die glauben, dass die nächste Generation der Weltraumoperationen durch bessere Daten und intelligentere Software angetrieben wird.

Als Senior AI Engineer, der sich auf Agentic Evaluation und Verifikation und Validierung (V&V) konzentriert, werden Sie Teil des AI- und Data Science-Teams innerhalb der Forschungs- und Entwicklungsorganisation von Slingshot. Sie werden dazu beitragen, wie intelligente Systeme für mission-kritische Weltraumoperationen bewertet und validiert werden. Diese Rolle konzentriert sich auf den Aufbau und die Skalierung von Evaluierungsrahmen, Benchmarks und simulationsgestützten Validierungssystemen für agentische KI-Systeme, einschließlich mehrstufiger, werkzeugbenutzender und autonomer Entscheidungsfindungsabläufe, die von LLMs und Reinforcement Learning unterstützt werden. Ihre Arbeit wird die Entwicklung zuverlässiger und vertrauenswürdiger autonomer Missionsplanungssysteme direkt unterstützen.

Sie werden eng mit KI-Forschern und Fachexperten zusammenarbeiten, um reale Missionskonzepte in strukturierte, testbare Evaluierungssysteme zu übersetzen.

Ihre Mission (sofern Sie sich entscheiden, sie anzunehmen):

• Erweiterung und Wartung von Slingshots V&V SDK und Evaluierungsrahmen für simulationsgestützte Validierung von agentischen KI-Systemen
• Entwurf und Implementierung von agentenbasierten und End-to-End-Evaluierungen, einschließlich Benchmark-Szenarien, Bewertungslogik und Experiment-Harnessen
• Aufbau von Benchmark-Szenarien und Werkzeugen zur Messung von Planung, Argumentation und operativer Leistung für autonome Missionsplanungssysteme
• Übersetzung von Astrodynamik- und Missionsdomänenkonzepten in ausführbare Evaluierungsszenarien und Simulationskonfigurationen
• Entwicklung wiederverwendbarer SDK-Schnittstellen, Adapter und Evaluierungswerkzeuge, die V&V-Systeme, TALOS-Benchmarks und Agentenarbeitsabläufe verbinden
• Definition und Anwendung von Metriken für Fähigkeitsbewertung, Fehleranalyse, Regressionserkennung und vergleichende Benchmarking
• Zusammenarbeit mit funktionsübergreifenden Teams zur Identifizierung von Evaluierungsbedürfnissen und zur Verbesserung der Abdeckung kritischer Fähigkeiten
• Beitrag zu Best Practices für die Bewertung komplexer, autonomer KI-Systeme
• Einhalten starker Ingenieurstandards durch Tests, Dokumentation, Reproduzierbarkeit und wartbares Systemdesign

Vorflug-Checkliste:

• 6+ Jahre Erfahrung in Softwareengineering, Maschinenlernen, angewandter KI oder gleichwertiger Erfahrung
• Starke Python-Engineering-Fähigkeiten mit Erfahrung im Aufbau von SDKs, Bibliotheken oder Evaluierungswerkzeugen
• Erfahrung im Entwurf von Evaluierungsrahmen, Benchmarks, Metriken oder Testharnessen für KI/ML-Systeme
• Fähigkeit zur Analyse des Systemverhaltens, Identifizierung von Fehlermodi und Bewertung der Leistung in komplexen autonomen oder semi-autonomen Systemen
• Vertrautheit mit modernen Agentenrahmen, Orchestrierungsmustern oder protokollbasierten Integrationen
• Erfahrung in funktionsübergreifenden, multidisziplinären Teams
• Starke schriftliche und mündliche Kommunikationsfähigkeiten
• Bachelor-Abschluss in einem relevanten Wissenschafts- oder Ingenieurfeld oder gleichwertige Erfahrung
• US-Bürger und berechtigt, eine Sicherheitsfreigabe der Regierung zu erhalten und aufrechtzuerhalten

Bonus Cargo:

• Erfahrung in autonomen Systemen wie selbstfahrenden Fahrzeugen oder ADAS, einschließlich Wahrnehmung, Planung, Simulation oder Sicherheitsvalidierung
• Erfahrung in der Entwicklung oder Bewertung agentischer KI-Systeme, einschließlich mehrstufiger, werkzeugbenutzender oder autonomer Arbeitsabläufe (z.B. LLM-basierte Agenten, Planungsagenten oder Ansätze des Reinforcement Learning)
• Erfahrung mit Reinforcement-Learning-Systemen und simulationsbasierter Evaluierung
• Vertrautheit mit Benchmark-Design, Experimentverfolgung und trace-basierten Evaluierungsabläufen
• Erfahrung mit Orchestrierungsrahmen wie LangGraph oder ähnlichen Tools
• Kenntnisse in Astrodynamik, orbitaler Mechanik oder Raumfahrtsmissionsplanung
• Erfahrung in der Übersetzung von Missions- oder Betriebskonzepten in messbare Evaluierungsszenarien
• Vertrautheit mit physikbasierten Simulationen, Trajektorienanalysen oder Modellen im Weltraum
• Erfahrung mit Beobachtungs- und Experimentierwerkzeugen wie MLflow, Opik oder ähnlichen Plattformen
• Erfahrung beim Übergang fortschrittlicher Forschungssysteme in Produktionsumgebungen

Standort: Remote, US

Gehalt: $150,000-$250,000

Klassifizierung: Vollzeit Exempt (Ausnahme für gelernte Fachkräfte)

US-basierte Kandidaten: Wir können derzeit nur Bewohner der folgenden US-Bundesstaaten einstellen: AL, AZ, CA, CO, DC, FL, GA, HI, IL, IN, KS, MA, MD, MI, MN, MO, MT, NC, NJ, NM, NV, NY, OH, OK, OR, RI, TN, TX, UT, VA, WA, WI, WV. Wir können Kandidaten aus anderen US-Bundesstaaten derzeit nicht berücksichtigen.

International ansässige Kandidaten: Wir können derzeit nur Bewohner der folgenden Standorte einstellen: Vereinigtes Königreich. Wir können Kandidaten aus anderen Ländern derzeit nicht berücksichtigen.

Gleichheit, Vielfalt und Inklusion sind der Schlüssel zu unserem Erfolg. Wir sind ein Arbeitgeber, der Chancengleichheit bietet, und unsere Mitarbeiter sind Menschen mit unterschiedlichen Stärken, Erfahrungen und Hintergründen, die eine Leidenschaft dafür teilen, eine sicherere, besser vernetzte Welt zu schaffen. Vielfalt umfasst nicht nur Rasse und Geschlechtsidentität, sondern auch nationale Herkunft, Staatsbürgerschaft, Geschlecht, Hautfarbe, Veteranenstatus, Behinderung, genetische Informationen oder jede andere geschützte Eigenschaft, die Teil der eigenen Identität ist. Alle Standpunkte unserer Mitarbeiter sind entscheidend für unseren Erfolg, und wir schätzen Individualität.