AI Benchmark Engineer | Native Language Specialist - German (Switzerland) - Remote

Wir bauen eine rigorose, überprüfbare Evaluierungssuite von Terminal-Bench-Aufgaben, die darauf ausgelegt ist, die Grenzen großer Sprachmodelle bei mehrsprachigen Softwareherausforderungen zu testen. Unser Ziel ist es, die mehrsprachige Robustheit über die Auswirkungen der Eingabesprache, die Verarbeitung von nicht-englischen Daten und komplexe Locale-/Kodierungsrandfälle in Terminal-Workflows zu messen. Wir suchen erfahrene, muttersprachliche Software-Ingenieure, um diese Benchmarks zu entwerfen, zu erstellen und zu validieren. Sie werden qualitativ hochwertige Aufgaben erstellen, die die Fähigkeit eines Modells testen, mehrsprachige Umgebungen zu bewältigen, ohne auf englische Übersetzungsstützen angewiesen zu sein.

Was Sie liefern werden:

• Aufgabenengineering: Bewertung von Codierungsagenten.
• Asset-Erstellung: Aufbau realistischer Aufgabenumgebungen mit Datensätzen und Dateien in Ihrer Muttersprache. Diese Assets müssen in der Zielsprache bleiben, um die mehrsprachige Handhabung wirklich zu messen.
• Prompting & Übersetzung: Finden von Fehlerpunkten, an denen KI nicht funktioniert, in Ihrer Muttersprache.
• Implementierung & Verifizierung: Unterstützung bei der Entwicklung robuster Lösungen (Referenzimplementierungen) und Schreiben hochzuverlässiger, deterministischer Verifikationsskripte (nur wenn unbedingt notwendig mit rubric-basierter Bewertung).
• Kalibrierung & Ausführung: Analyse von Ausführungsprotokollen und Kalibrierung des Aufgabenschwierigkeitsgrads (einfach bis sehr schwer) unter Verwendung standardmäßiger Terminal-Bench-Ausführungskonfigurationen gegen verschiedene Modellstufen (Haiku, Sonnet, Opus).
• Qualitätssicherung: Teilnahme an einem rigorosen, 4-lagigen menschlichen Qualitätskontrollprozess (Erstellung, menschliche Überprüfung, Kalibrierungsüberprüfung und Audit) neben automatisierten LLM-basierten Prüfungen, um Fairness, grammatikalische Genauigkeit und Integrität der Benchmarks sicherzustellen.

Qualifikationen:

• Erfahrung: 1+ Jahre Branchenerfahrung in Software- oder Prompt-Engineering.
• Hintergrund: Nachweisliche Erfolge bei führenden Technologieunternehmen und/oder Abschluss an erstklassigen Ingenieuruniversitäten.
• Sprache: Muttersprachliche oder nahezu muttersprachliche Beherrschung mit einem tiefen Verständnis für Grammatik, Register und Formulierungsregeln. Hohe Englischkenntnisse.
• Technologiestack: Starke Kenntnisse in Python, Standard-Shell-Skripting und Datenverarbeitung.
• Workflow: Umfassende Erfahrung mit Terminal/CLI-basierten Entwicklungs-Workflows und ein funktionales Verständnis von Codierungsagenten.
• Fachwissen: Tiefes technisches Verständnis der Fallstricke der mehrsprachigen Textverarbeitung, einschließlich: Robustheit von Kodierung/Dekodierung und Unicode-Normalisierung, localeabhängige Konventionen (Sortierung, Groß-/Kleinschreibung, nicht-gregorianische Daten), Text I/O, Toolchain-Interoperabilität und sichere String-Operationen.

Warum mit Lilt zusammenarbeiten?

• Ihr Zeitplan, Ihre Regeln. Arbeiten Sie als unabhängiger Auftragnehmer, wann und wie viel Sie möchten. Keine festen Stunden, keine Check-ins, kein Mikromanagement.
• Fair und schnell bezahlt. Wir respektieren Ihre Zeit und Ihr Fachwissen. Wettbewerbsfähige Sätze, schnelle Zahlungen, kein Verfolgen von Rechnungen.
• Arbeiten Sie an Projekten, die wirklich wichtig sind. Tragen Sie zur Spitzentechnologie in den Bereichen KI und Sprache bei, die die Kommunikation zwischen Mensch und Maschine prägt.
• Seien Sie Teil von etwas Größerem. Werden Sie Teil einer globalen Gemeinschaft von Linguisten, Fachexperten und Sprachprofis, die gemeinsam das menschliche Wissen vorantreiben.
• Wachsen Sie ohne Grenzen. Als Lilt-Auftragnehmer haben Sie Zugang zu vielfältigen, innovativen Projekten, die Ihr Portfolio erweitern und Ihre Fähigkeiten in verschiedenen Branchen und Bereichen schärfen.
• Haben Sie Spaß dabei, was Sie lieben. Bringen Sie Ihre Sprachkenntnisse in Projekte ein, die ebenso interessant wie wirkungsvoll sind.

Was Sie vor der Bewerbung beachten sollten:

• Nicht ideal als Vollzeitjob oder primäre Einkommensquelle. Die Verfügbarkeit variiert je nach Projektbedarf, was dies besser als ergänzende Einkommensquelle geeignet macht.
• Erfordert zuverlässige Verfügbarkeit und Engagement. Sobald Sie eine Aufgabe annehmen, erwarten wir qualitativ hochwertige Arbeit und pünktliche Lieferung. Die meisten Aufgaben erfordern mindestens 2 Stunden pro Tag oder 10 Stunden pro Woche.
• Geografische Einschränkungen können gelten. Wir können keine Auftragnehmer in Regionen beschäftigen, die internationalen Embargos oder Sanktionen unterliegen.

AI verändert, wie die Welt kommuniziert – und LILT führt diese Transformation an. LILT's Mission ist es, die Informationen der Welt für alle zugänglich zu machen, unabhängig von der Sprache, die sie sprechen. Treten Sie unserer globalen Gemeinschaft bei, die auf Innovation und Exzellenz gedeiht. Verdienen Sie Geld. Haben Sie Spaß. Fördern Sie das menschliche Wissen. Arbeiten Sie an vielfältigen Projekten von überall, wann immer Sie möchten. Lassen Sie sich schnell und fair bezahlen und bauen Sie Ihr berufliches Netzwerk in einer unterstützenden Gemeinschaft auf – alles durch einen optimierten Bewerbungsprozess, der auf Ihre Expertise zugeschnitten ist.