AI Benchmark Engineer | Native Language Specialist - German

Wir bauen eine rigorose, überprüfbare Evaluationssuite von Terminal-Bench-Aufgaben, die darauf ausgelegt ist, die Grenzen großer Sprachmodelle bei mehrsprachigen Softwareherausforderungen zu testen. Unser Ziel ist es, die mehrsprachige Robustheit über die Auswirkungen der Eingabesprache, die Verarbeitung von nicht-englischen Daten und komplexe Locale-/Kodierungsrandfälle in Terminal-Workflows zu messen.

Wir suchen erfahrene, muttersprachliche Software-Ingenieure, um diese Benchmarks zu entwerfen, zu erstellen und zu validieren. Sie werden qualitativ hochwertige Aufgaben erstellen, die tatsächlich die Fähigkeit eines Modells testen, mit mehrsprachigen Umgebungen umzugehen, ohne auf englische Übersetzungsstützen angewiesen zu sein.

Dies ist eine remote, freiberufliche Gelegenheit.

Was Sie liefern werden:

• Aufgabenengineering: Bewertung von Codierungsagenten.
• Asset-Erstellung: Aufbau realistischer Aufgabenumgebungen mit Datensätzen und Dateien in Ihrer Muttersprache. Diese Assets müssen in der Zielsprache bleiben, um die mehrsprachige Handhabung wirklich zu messen.
• Prompting & Übersetzung: Finden von Fehlerpunkten, an denen KI nicht funktioniert, in Ihrer Muttersprache.
• Implementierung & Verifizierung: Unterstützung bei der Entwicklung robuster Lösungen (Referenzimplementierungen) und Schreiben hochzuverlässiger, deterministischer Verifikationsskripte (nur wenn unbedingt notwendig, basierend auf Rubrikbewertung).
• Kalibrierung & Ausführung: Analyse von Ausführungsprotokollen und Kalibrierung des Aufgabenschwierigkeitsgrads (einfach bis sehr schwer) unter Verwendung standardmäßiger Terminal-Bench-Ausführungskonfigurationen gegen verschiedene Modellstufen (Haiku, Sonnet, Opus).
• Qualitätssicherung: Teilnahme an einem rigorosen, 4-lagigen menschlichen Qualitätskontrollprozess (Erstellung, menschliche Überprüfung, Kalibrierungsüberprüfung und Audit) neben automatisierten LLM-basierten Prüfungen, um Fairness, grammatikalische Genauigkeit und Integrität der Benchmarks sicherzustellen.

Qualifikationen:

• Erfahrung: 1+ Jahre Branchenerfahrung in Software- oder Prompt-Engineering.
• Hintergrund: Nachweisliche Erfolge bei führenden Technologieunternehmen und/oder Abschluss an erstklassigen Ingenieuruniversitäten.
• Sprache: Native oder nahezu native Sprachbeherrschung mit einem tiefen Verständnis für Grammatik, Register und Formulierungsregeln. Hohe Englischkenntnisse.
• Technologiestack: Starke Kenntnisse in Python, Standard-Shell-Skripting und Datenverarbeitung.
• Workflow: Umfassende Erfahrung mit Terminal/CLI-basierten Entwicklungs-Workflows und eine funktionale Vertrautheit mit Codierungsagenten.
• Fachwissen: Tiefes technisches Verständnis der Fallstricke der mehrsprachigen Textverarbeitung, einschließlich: Robustheit von Kodierung/Dekodierung und Unicode-Normalisierung, localeabhängige Konventionen (Sortierung, Groß-/Kleinschreibung, nicht-gregorianische Daten), Text I/O, Toolchain-Interoperabilität und sichere String-Operationen.

Warum mit Lilt zusammenarbeiten?

• Ihr Zeitplan, Ihre Regeln. Arbeiten Sie als unabhängiger Auftragnehmer, wann und wie viel Sie möchten. Keine festen Stunden, keine Check-ins, kein Mikromanagement.
• Fair und schnell bezahlt werden. Wir respektieren Ihre Zeit und Ihr Fachwissen. Wettbewerbsfähige Sätze, pünktliche Zahlungen, kein Verfolgen von Rechnungen.
• An Projekten arbeiten, die wirklich wichtig sind. Tragen Sie zu bahnbrechender KI- und Sprachtechnologie bei, die die Kommunikation zwischen Menschen und Maschinen prägt.
• Teil von etwas Größerem sein. Treten Sie einer globalen Gemeinschaft von Linguisten, Fachexperten und Sprachprofis bei, die gemeinsam das menschliche Wissen vorantreiben.
• Ohne Grenzen wachsen. Als Lilt-Auftragnehmer haben Sie Zugang zu vielfältigen, innovativen Projekten, die Ihr Portfolio erweitern und Ihre Fähigkeiten in verschiedenen Branchen und Bereichen schärfen.
• Viel Spaß dabei, was Sie lieben. Bringen Sie Ihre Sprachkenntnisse in Projekte ein, die ebenso interessant wie wirkungsvoll sind.

Was Sie vor der Bewerbung beachten sollten:

• Nicht ideal als Vollzeitjob oder primäre Einkommensquelle. Die Verfügbarkeit variiert je nach Projektbedarf, was dies besser als ergänzende Einkommensquelle geeignet macht.
• Geografische Einschränkungen können gelten. Wir können keine Auftragnehmer in Regionen beschäftigen, die internationalen Embargos oder Sanktionen unterliegen.
• Als 1099-Auftragnehmer sind Sie allein verantwortlich für Ihre eigenen Steuerverpflichtungen. Wir empfehlen, einen Steuerfachmann zu konsultieren, bevor Sie sich engagieren.

So treten Sie unserer Expertengemeinschaft bei:

• Reichen Sie Ihre Bewerbung ein, einschließlich einer aktualisierten Kopie Ihres Lebenslaufs in Englisch.
• Vervollständigen Sie anschließend eine GenAI-Bewertung zur Bewertung Ihrer Fähigkeiten.
• Schließen Sie die Einarbeitung und das Profil-Setup in unserem System ab und werden Sie für angewandte KI-Projekte berechtigt.

AI verändert, wie die Welt kommuniziert – und LILT führt diese Transformation an. LILT's Mission ist es, die Informationen der Welt für alle zugänglich zu machen, unabhängig von der Sprache, die sie sprechen. Treten Sie unserer globalen Gemeinschaft bei, die auf Innovation und Exzellenz gedeiht.