AI Benchmark Engineer | Native Language Specialist - German (Germany) in Berlin

Wir bauen eine rigorose, überprüfbare Evaluationssuite von Terminal-Bench-Aufgaben, die darauf ausgelegt ist, die Grenzen großer Sprachmodelle bei mehrsprachigen Softwareherausforderungen zu testen. Unser Ziel ist es, die mehrsprachige Robustheit über die Auswirkungen der Eingabesprache, die Verarbeitung von nicht-englischen Daten und komplexe Locale-/Kodierungsrandfälle in Terminal-Workflows zu messen.

Wir suchen erfahrene, muttersprachliche Software-Ingenieure, um diese Benchmarks zu entwerfen, zu erstellen und zu validieren. Sie werden qualitativ hochwertige Aufgaben erstellen, die tatsächlich die Fähigkeit eines Modells testen, mit mehrsprachigen Umgebungen umzugehen, ohne auf englische Übersetzungsstützen angewiesen zu sein.

Dies ist eine remote, freiberufliche Gelegenheit.

Was Sie liefern werden:

• Aufgabenengineering: Bewertung von Codierungsagenten.
• Asset-Erstellung: Aufbau realistischer Aufgabenumgebungen mit Datensätzen und Dateien in Ihrer Muttersprache. Diese Assets müssen in der Zielsprache bleiben, um die mehrsprachige Handhabung wirklich zu messen.
• Prompting & Übersetzung: Finden von Fehlerpunkten, an denen KI nicht funktioniert, in Ihrer Muttersprache.
• Implementierung & Verifizierung: Unterstützung bei der Entwicklung robuster Lösungen (Referenzimplementierungen) und Schreiben hochzuverlässiger, deterministischer Verifikationsskripte (nur wenn unbedingt notwendig mit rubric-basierter Bewertung).
• Kalibrierung & Ausführung: Analyse von Ausführungsprotokollen und Kalibrierung des Aufgabenschwierigkeitsgrads (einfach bis sehr schwer) unter Verwendung standardmäßiger Terminal-Bench-Ausführungskonfigurationen gegen verschiedene Modellstufen (Haiku, Sonnet, Opus).
• Qualitätssicherung: Teilnahme an einem rigorosen, 4-lagigen menschlichen Qualitätskontrollprozess (Erstellung, menschliche Überprüfung, Kalibrierungsüberprüfung und Audit) neben automatisierten LLM-basierten Prüfungen, um Fairness, grammatikalische Genauigkeit und Integrität der Benchmarks sicherzustellen.

Qualifikationen:

• Erfahrung: 1+ Jahre Branchenerfahrung in Software- oder Prompt-Engineering.
• Hintergrund: Nachweisliche Erfolge bei führenden Technologieunternehmen und/oder Abschluss an erstklassigen Ingenieuruniversitäten.
• Sprache: Native oder nahezu native Sprachbeherrschung mit einem tiefen Verständnis für Grammatik, Register und Formulierungsregeln. Hohe Englischkenntnisse.
• Technologiestack: Starke Kenntnisse in Python, Standard-Shell-Skripting und Datenverarbeitung.
• Workflow: Umfassende Erfahrung mit Terminal/CLI-basierten Entwicklungsworkflows und ein funktionales Verständnis von Codierungsagenten.
• Fachwissen: Tiefes technisches Verständnis der Fallstricke der mehrsprachigen Textverarbeitung, einschließlich: Robustheit beim Kodieren/Dekodieren und Unicode-Normalisierung, localeabhängige Konventionen (Sortierung, Groß-/Kleinschreibung, nicht-gregorianische Daten), Text I/O, Toolchain-Interoperabilität und sichere String-Operationen.

Warum mit Lilt zusammenarbeiten?

• Ihr Zeitplan, Ihre Regeln. Arbeiten Sie als unabhängiger Auftragnehmer, wann und wie viel Sie möchten. Keine festen Stunden, keine Check-ins, kein Mikromanagement.
• Wird schnell und fair bezahlt. Wir respektieren Ihre Zeit und Ihr Fachwissen. Wettbewerbsfähige Sätze, pünktliche Zahlungen, kein Verfolgen von Rechnungen.
• Arbeiten Sie an Projekten, die wirklich wichtig sind. Tragen Sie zu bahnbrechender KI- und Sprachtechnologie bei, die die Kommunikation zwischen Menschen und Maschinen prägt.
• Seien Sie Teil von etwas Größerem. Treten Sie einer globalen Gemeinschaft von Linguisten, Fachexperten und Sprachprofis bei, die gemeinsam das menschliche Wissen vorantreiben.
• Wachsen Sie ohne Grenzen. Als Lilt-Auftragnehmer haben Sie Zugang zu vielfältigen, innovativen Projekten, die Ihr Portfolio erweitern und Ihre Fähigkeiten in verschiedenen Branchen und Bereichen schärfen.
• Haben Sie Spaß daran, das zu tun, was Sie lieben. Bringen Sie Ihre Sprachkenntnisse in Projekte ein, die ebenso interessant wie wirkungsvoll sind.

Bitte beachten Sie, dass dies nicht ideal als Vollzeitjob oder primäre Einkommensquelle geeignet ist. Die Verfügbarkeit variiert je nach Projektbedarf, was dies besser als ergänzende Einkommensquelle geeignet macht. Als 1099-Auftragnehmer erhalten Sie keine Leistungen wie Krankenversicherung, bezahlte Freizeit oder Rentenbeiträge, und die Stunden sind nicht garantiert.

Geografische Einschränkungen können gelten. Wir können keine Auftragnehmer in Regionen beschäftigen, die internationalen Embargos oder Sanktionen unterliegen. Als 1099-Auftragnehmer sind Sie allein für Ihre eigenen Steuerverpflichtungen verantwortlich. Wir empfehlen, einen Steuerfachmann zu konsultieren, bevor Sie sich engagieren.

So treten Sie unserer Expertengemeinschaft bei:

• Reichen Sie Ihre Bewerbung ein, einschließlich einer aktualisierten Kopie Ihres Lebenslaufs in Englisch.
• Vervollständigen Sie anschließend eine GenAI-Bewertung zur Bewertung Ihrer Fähigkeiten.
• Schließen Sie die Einarbeitung und das Profil-Setup in unserem System ab und werden Sie für angewandte KI-Projekte berechtigt.

AI verändert, wie die Welt kommuniziert – und LILT führt diese Transformation an. LILT's Mission ist es, die Informationen der Welt für alle zugänglich zu machen, unabhängig von der Sprache, die sie sprechen. Treten Sie unserer globalen Gemeinschaft bei, die auf Innovation und Exzellenz gedeiht.

Verdienen Sie Geld. Haben Sie Spaß. Fördern Sie das menschliche Wissen. Arbeiten Sie an vielfältigen Projekten von überall aus, wann immer Sie möchten. Werden Sie schnell und fair bezahlt und bauen Sie Ihr berufliches Netzwerk in einer unterstützenden Gemeinschaft auf – alles durch einen optimierten Bewerbungsprozess, der auf Ihre Expertise zugeschnitten ist.