Forward Deployed Engineer - Language Models

Standort: Vereinigte Staaten (Remote) oder San Francisco (vor Ort im Büro)

Über Artificial Analysis

Artificial Analysis ist das führende unabhängige Unternehmen für KI-Benchmarking. Wir unterstützen Labore, Ingenieure und Unternehmen dabei, die Fähigkeiten von KI zu verstehen und kritische Entscheidungen über ihre KI-Strategien zu treffen. Unsere Benchmarks messen nicht nur die Spitze der KI, sondern gestalten aktiv die Zukunft.

Unsere Benchmarks und Analysen werden von Hunderttausenden von Nutzern vertraut und sind die Referenz für führende KI-Labore, darunter OpenAI, Google, Meta, NVIDIA und Anthropic sowie große Publikationen wie das Wall Street Journal, Bloomberg, die Financial Times und The Economist.

Wir sind ein Team von über 40 Personen, das bis Ende des Jahres auf 80 wachsen wird, unterstützt von Nat Friedman (GitHub, Meta), Daniel Gross (SSI, Meta), Andrew Ng (Google Brain, DeepLearning.ai, Amazon), Adam D’Angelo (Quora, Poe, OpenAI), Clem Delangue (Hugging Face) und anderen Branchenführern.

Die Gelegenheit

Artificial Analysis betreibt eine der umfassendsten Benchmarking-Suiten für Sprachmodelle in der Branche, die Grenzmodelle hinsichtlich Qualität, Geschwindigkeit und Preis bewertet.

Wir suchen einen Forward Deployed Engineer, der den täglichen Betrieb unserer Benchmarking-Pipeline für Sprachmodelle übernimmt und als technischer Ansprechpartner von Artificial Analysis für die wichtigsten Labore der Branche fungiert. Sie werden neue Modelle in unsere Evaluierungspipeline einpflegen, Benchmarks durchführen und debuggen sowie als primärer technischer Ansprechpartner für Kunden von KI-Laboren agieren: Ergebnisse erklären, methodologische Fragen beantworten und Probleme in Echtzeit lösen.

Dies ist eine Rolle, die im wahrsten Sinne des Wortes implementiert wird: Sie sitzen an der Schnittstelle zwischen unserer Plattform und unseren anspruchsvollsten Kunden und sind verantwortlich dafür, dass beide Seiten reibungslos funktionieren. Es geht darum, einen komplexen Stack außergewöhnlich gut, konsistent und zuverlässig zu betreiben, während Sie der vertrauenswürdige Ingenieur sind, nach dem unsere Kunden namentlich fragen.

Was Sie tun werden

• Betreiben und Warten unserer Python-basierten Benchmarking-Pipeline für Sprachmodelle von Anfang bis Ende: neue Modelle einpflegen, Evaluierungen konfigurieren, Benchmark-Läufe ausführen und Ergebnisse validieren.
• Probleme im gesamten Stack debuggen, von API-Endpunkt-Zeitüberschreitungen und -fehlern bis hin zu unerwarteten Benchmark-Ausgaben, und diese schnell lösen.
• Als primärer technischer Ansprechpartner für Kunden von KI-Laboren fungieren: Benchmarking-Ergebnisse klar kommunizieren, Methodik erklären, technische Fragen beantworten und Integrationsprobleme über Slack und Videokonferenzen beheben.
• Benchmark-Läufe auf Anomalien überwachen, Abweichungen untersuchen und die Genauigkeit und Integrität der veröffentlichten Ergebnisse sicherstellen.
• Dokumentation von Prozessen, bekannten Problemen und modell-spezifischen Konfigurationen pflegen.
• Mit dem Engineering-Team zusammenarbeiten, um Pipeline-Verbesserungen zu kennzeichnen und zur Prozessoptimierung beizutragen.
• Aktuell bleiben mit neuen Modellveröffentlichungen, API-Änderungen und Entwicklungen im Bereich der Sprachmodelle.

Was wir suchen

Erforderlich

• 3+ Jahre Erfahrung in einer kundenorientierten technischen Rolle - Lösungsengineering, Supportengineering, technische Beratung oder ähnliches (Unternehmen wie Stripe, Vercel, Cloudflare, Datadog, Palantir, Accenture oder vergleichbar).
• Starke Python-Kenntnisse und Komfort im Umgang mit komplexen Codebasen, die Sie nicht geschrieben haben.
• Praktische Erfahrung mit APIs von KI/ML-Modellen (OpenAI, Anthropic, Google, Meta usw.).
• Exzellente Debugging-Fähigkeiten; Sie können Probleme über APIs, Datenpipelines und Code zurückverfolgen.
• Starke schriftliche und mündliche Kommunikationsfähigkeiten in Englisch, mit der Fähigkeit, technische Konzepte klar an technische Stakeholder zu erklären.
• Hohe Reaktionsfähigkeit und Zuverlässigkeit; Sie übernehmen Verantwortung für Kundenanliegen und verfolgen diese nach.
• Komfortabel mit operativen, wiederholbaren Aufgaben; Sie finden Zufriedenheit darin, Dinge außergewöhnlich gut zu betreiben.
• Hohe Aufmerksamkeit für Details und Ruhe unter Druck.

Wünschenswert (nicht erforderlich)

• Erfahrung mit KI-Bewertung, Benchmarking oder Testmethoden.
• Vertrautheit mit LLM-Inferenzinfrastruktur (Tokenisierung, Latenzmessung, Durchsatzmetriken).
• Erfahrung in oder mit KI-Laboren oder Modellanbietern.
• Hintergrund im B2B SaaS oder Entwickler-Tools.

Warum Artificial Analysis?

• Gestalten Sie, wie KI entwickelt wird: Die führenden KI-Labore verfolgen unsere Benchmarks und nutzen sie, um ihre Entwicklungsprioritäten zu steuern. Ihre Arbeit wird direkt die Richtung der KI beeinflussen.
• Werden Sie ein weltweiter Experte für KI: Sie werden jedes wichtige Modell bewerten, über jede wichtige Fähigkeit, sobald sie veröffentlicht werden. Sehr wenige Rollen bieten diese Breite an Exposition gegenüber fortschrittlicher KI.
• Arbeiten Sie mit den wichtigsten Akteuren in der KI: Sie werden Beziehungen zu Teams in den führenden KI-Laboren und großen Unternehmen als vertrauenswürdige, unabhängige Stimme pflegen.
• Treffen Sie zu einem entscheidenden Zeitpunkt ein: Wir sind über 40 Personen, auf dem Weg, bis Ende des Jahres zu verdoppeln, unterstützt von einigen der am besten vernetzten Investoren in der KI. Die Personen, die jetzt beitreten, werden das Produkt, das Team und die Strategie gestalten, während wir skalieren.

Wettbewerbsfähige Vergütung einschließlich Eigenkapital