AI Benchmark Engineer | Native Language Specialist - German

Wir bauen eine rigorose, überprüfbare Evaluationssuite von Terminal-Bench-Aufgaben, die darauf ausgelegt ist, die Grenzen großer Sprachmodelle bei mehrsprachigen Softwareherausforderungen zu testen. Unser Ziel ist es, die mehrsprachige Robustheit über die Auswirkungen der Eingabesprache, die Verarbeitung von nicht-englischen Daten und komplexe Locale-/Kodierungsrandfälle in Terminal-Workflows zu messen.

Wir suchen erfahrene, muttersprachliche Software-Ingenieure, um diese Benchmarks zu entwerfen, zu erstellen und zu validieren. Sie werden qualitativ hochwertige Aufgaben erstellen, die die Fähigkeit eines Modells testen, mit mehrsprachigen Umgebungen umzugehen, ohne auf englische Übersetzungsstützen zurückzugreifen.

Dies ist eine remote, freiberufliche Gelegenheit.

Was Sie liefern werden:

• Aufgabenengineering: Bewertung von Codierungsagenten.
• Asset-Erstellung: Aufbau realistischer Aufgabenumgebungen mit Datensätzen und Dateien in Ihrer Muttersprache. Diese Assets müssen in der Zielsprache bleiben, um die mehrsprachige Handhabung wirklich zu messen.
• Prompting & Übersetzung: Finden von Fehlerpunkten, an denen KI nicht funktioniert, in Ihrer Muttersprache.
• Implementierung & Verifizierung: Unterstützung bei der Entwicklung robuster Lösungen (Referenzimplementierungen) und Schreiben hochzuverlässiger, deterministischer Verifikationsskripte (nur wenn unbedingt notwendig, basierend auf Rubrikbewertung).
• Kalibrierung & Ausführung: Analyse von Ausführungsprotokollen und Kalibrierung des Aufgabenschwierigkeitsgrads (einfach bis sehr schwer) unter Verwendung standardmäßiger Terminal-Bench-Ausführungskonfigurationen gegen verschiedene Modellstufen (Haiku, Sonnet, Opus).
• Qualitätssicherung: Teilnahme an einem rigorosen, 4-lagigen menschlichen Qualitätskontrollprozess (Erstellung, menschliche Überprüfung, Kalibrierungsüberprüfung und Audit) neben automatisierten LLM-basierten Prüfungen, um Fairness, grammatikalische Genauigkeit und Integrität der Benchmarks sicherzustellen.

Qualifikationen:

• Erfahrung: 1+ Jahre Branchenerfahrung in Software- oder Prompt-Engineering.
• Hintergrund: Nachweisliche Erfolge bei führenden Technologieunternehmen und/oder Abschluss an erstklassigen Ingenieuruniversitäten.
• Sprache: Native oder nahezu native Sprachbeherrschung mit einem tiefen Verständnis für Grammatik, Register und Formulierungsregeln. Hohe Englischkenntnisse.
• Technologiestack: Starke Kenntnisse in Python, Standard-Shell-Skripting und Datenverarbeitung.
• Workflow: Umfassende Erfahrung mit Terminal/CLI-basierten Entwicklungsworkflows und ein funktionales Verständnis von Codierungsagenten.
• Fachwissen: Tiefes technisches Verständnis der Fallstricke der mehrsprachigen Textverarbeitung, einschließlich: Robustheit beim Kodieren/Dekodieren und Unicode-Normalisierung, localeabhängige Konventionen (Sortierung, Groß-/Kleinschreibung, nicht-gregorianische Daten), Text I/O, Toolchain-Interoperabilität und sichere String-Operationen.

Warum mit Lilt zusammenarbeiten?

• Ihr Zeitplan, Ihre Regeln. Arbeiten Sie als unabhängiger Auftragnehmer, wann und wie viel Sie möchten. Keine festen Arbeitszeiten, keine Check-ins, kein Mikromanagement.
• Wird schnell und fair bezahlt. Wir respektieren Ihre Zeit und Ihr Fachwissen. Wettbewerbsfähige Sätze, schnelle Zahlungen, kein Verfolgen von Rechnungen.
• Arbeiten Sie an Projekten, die wirklich wichtig sind. Tragen Sie zur Spitzentechnologie im Bereich KI und Sprache bei, die prägt, wie Menschen und Maschinen kommunizieren.
• Seien Sie Teil von etwas Größerem. Treten Sie einer globalen Gemeinschaft von Linguisten, Fachexperten und Sprachprofis bei, die gemeinsam das menschliche Wissen vorantreiben.
• Wachsen Sie ohne Grenzen. Als Lilt-Auftragnehmer haben Sie Zugang zu vielfältigen, innovativen Projekten, die Ihr Portfolio erweitern und Ihre Fähigkeiten in verschiedenen Branchen und Bereichen schärfen.
• Haben Sie Spaß daran, was Sie lieben. Bringen Sie Ihre Sprachkenntnisse in Projekte ein, die ebenso interessant wie wirkungsvoll sind.

So treten Sie unserer Expertengemeinschaft bei:

• Reichen Sie Ihre Bewerbung ein, einschließlich einer aktualisierten Kopie Ihres Lebenslaufs in Englisch.
• Vervollständigen Sie anschließend eine GenAI-Bewertung zur Bewertung Ihrer Fähigkeiten.
• Schließen Sie die Einarbeitung und Profilerstellung in unserem System ab und werden Sie für angewandte KI-Projekte berechtigt.

AI verändert, wie die Welt kommuniziert – und LILT führt diese Transformation an. LILTs Mission ist es, die Informationen der Welt für alle zugänglich zu machen, unabhängig von der Sprache, die sie sprechen. Treten Sie unserer globalen Gemeinschaft bei, die auf Innovation und Exzellenz gedeiht.

Verdienen Sie Geld. Haben Sie Spaß. Fördern Sie das menschliche Wissen. Arbeiten Sie an vielfältigen Projekten von überall, wann immer Sie möchten. Werden Sie schnell und fair bezahlt und bauen Sie Ihr berufliches Netzwerk in einer unterstützenden Gemeinschaft auf – alles durch einen optimierten Bewerbungsprozess, der auf Ihre Expertise zugeschnitten ist.

Die im Rahmen Ihres Bewerbungsprozesses gesammelten und verarbeiteten Informationen, einschließlich aller Stellenbewerbungen, die Sie einreichen, unterliegen LILTs Datenschutzrichtlinie.

Bei LILT setzen wir uns für einen fairen, integrativen und transparenten Einstellungsprozess ein. Im Rahmen unserer Rekrutierungsbemühungen können wir künstliche Intelligenz (KI) und automatisierte Tools einsetzen, um bei der Bewertung von Bewerbungen zu helfen. Diese Tools sollen die menschliche Entscheidungsfindung unterstützen und uns helfen, qualifizierte Kandidaten effizient und objektiv zu identifizieren. Alle endgültigen Einstellungsentscheidungen werden von Menschen getroffen. Wenn Sie Bedenken haben, Anpassungen benötigen oder sich gegen den Einsatz von KI in unserem Einstellungsprozess entscheiden möchten, lassen Sie es uns bitte wissen.

LILT ist ein Arbeitgeber, der Chancengleichheit bietet. Wir gewähren allen Personen unabhängig von Rasse, Religion, Hautfarbe, nationaler Herkunft, Abstammung, Geschlecht, sexueller Orientierung, Geschlechtsidentität, Alter, körperlicher oder geistiger Behinderung, medizinischem Zustand, genetischen Merkmalen, Veteranen- oder Familienstand, Schwangerschaft oder einer anderen durch geltendes lokales, staatliches oder bundesstaatliches Recht geschützten Klassifikation gleiche Chancen.