Bilingual German Generalist Evaluator Expert

Mercor sucht Muttersprachler des Deutschen aus Österreich, der Schweiz oder Deutschland mit außergewöhnlichen Schreibfähigkeiten, um zu einem hochwirksamen KI-Forschungsprojekt mit einem führenden Labor beizutragen. Freiberufler werden deutsche/englische Prompt-Gold-Antwort-Paare verfassen, die fortschrittliche Sprachmodelle trainieren und bewerten.

Diese Rolle ist ausschließlich auf Kandidaten beschränkt, die in Österreich, der Schweiz oder Deutschland geboren sind und dort gelebt haben oder viel Zeit verbracht haben, mit tiefem Verständnis für die lokale Sprachverwendung, den Ton und den kulturellen Kontext (einschließlich Unterscheidungen wie österreichisches Deutsch, Schweizer Hochdeutsch und spezifische Konventionen für Deutschland).

Dies ist eine kurzfristige, flexible Gelegenheit für Fachleute, die Sprachbeherrschung, starkes kritisches Denken und ein Talent für klare Anweisungen kombinieren. Ideal für diejenigen, die komplexe Konzepte in gut formulierten, kulturell fundierten deutschen Texten destillieren möchten, während sie technische Präzision im Englischen beibehalten.

• Multilinguale Prompt-Design & Optimierung: Erstellen Sie detaillierte Aufforderungen in Deutsch und/oder Englisch mit mehreren Einschränkungen und Anweisungen, um eine natürliche Formulierung und reale Relevanz für deutschsprachige Benutzer in Österreich, der Schweiz und Deutschland sicherzustellen.
• Bewertungsstandards definieren und dokumentieren: Legen Sie hohe Erwartungen an korrekte Antworten in den Verbraucher-Kontexten von Österreich, der Schweiz und Deutschland fest und entwickeln Sie umfassende Rubriken, die sprachliche Nuancen, Ton und kulturelle Konventionen berücksichtigen, die spezifisch für diese Regionen sind.
• Modelltests und -bewertung (bilingual): Führen Sie Aufforderungen durch Modelle und bewerten Sie vorläufige Ausgaben auf Genauigkeit, Flüssigkeit und kulturelle Passung in Deutsch, vergleichen Sie die Ergebnisse bei Bedarf mit dem Englischen.
• Benchmarking & Qualitätssicherung: Arbeiten Sie in QA-Überprüfungsprozessen zusammen, um sicherzustellen, dass Aufgaben und Rubriken den Anforderungen entsprechen – Beibehaltung von Konsistenz und Zuverlässigkeit über deutschsprachige Benchmarks, bevor sie in offizielle Bewertungen integriert werden.

• Muttersprachliche Beherrschung des Deutschen (schriftlich), spezifisch für die Verwendung in Österreich, der Schweiz oder Deutschland, mit starken Lese-/Schreibfähigkeiten in Englisch.
• Sie müssen in Österreich, der Schweiz oder Deutschland geboren sein und dort gelebt haben oder viel Zeit im Land verbracht haben, mit tiefem kulturellen und sprachlichen Verständnis.
• BS oder BA von einer angesehenen Institution (abgeschlossen oder in Bearbeitung).
• Starke Schreib- und kritische Denkfähigkeiten.
• Fähigkeit, unabhängig zu arbeiten und Fristen einzuhalten.
• Signifikante Vertrautheit mit ChatGPT oder ähnlichen Tools für persönliche Entscheidungsfindung, Hobbys oder allgemeine Interessen.
• Ansässig in Österreich, der Schweiz oder Deutschland (oder in der Lage, zuverlässig länderspezifisches, kulturell genaues Deutsch zu produzieren, das mit einer dieser Regionen übereinstimmt).

• Erfahrung im Unterrichten, in der Forschung, im Editieren oder im akademischen Schreiben.
• Erfahrung in der Erstellung von Bewertungskriterien, Rubriken oder Bewertungsrichtlinien.
• Vertrautheit mit LLMs, Aufforderungen oder Modellauswertungen (hilfreich, aber nicht erforderlich).

• Absolvieren Sie ein KI-geführtes Interview (ca. 15 Minuten).
• Wenn genehmigt, absolvieren Sie eine bezahlte Bewertung, die sich auf Schreiben und Rubrikerstellung konzentriert.
• Wenn ausgewählt, werden Sie eingeladen, an dem Projekt zu arbeiten.

• Erwarten Sie, mindestens 20 Stunden pro Woche beizutragen.
• Erwarten Sie ein Engagement von etwa 2–4 Monaten.
• Sie werden in einer strukturierten Projektumgebung mit klaren Zielen und Werkzeugen arbeiten.

Wir berücksichtigen alle qualifizierten Bewerber ohne Rücksicht auf gesetzlich geschützte Merkmale und bieten auf Anfrage angemessene Vorkehrungen.

• Sie werden als unabhängiger Auftragnehmer engagiert.
• Dies ist eine vollständig remote Rolle, die nach Ihrem eigenen Zeitplan abgeschlossen werden kann.
• Projekte können je nach Bedarf und Leistung verlängert, verkürzt oder vorzeitig beendet werden.
• Ihre Arbeit bei Mercor wird keinen Zugang zu vertraulichen oder proprietären Informationen eines Arbeitgebers, Kunden oder einer Institution beinhalten.
• Zahlungen erfolgen wöchentlich über Stripe oder Wise basierend auf den erbrachten Dienstleistungen.
• Bitte beachten Sie: Wir können derzeit keine H1-B- oder STEM-OPT-Kandidaten unterstützen.

Mercor arbeitet mit führenden KI-Labors und Unternehmen zusammen, um Grenzmodelle mit menschlicher Expertise zu trainieren. Sie werden an Projekten arbeiten, die sich auf das Training und die Verbesserung von KI-Systemen konzentrieren. Sie werden wettbewerbsfähig bezahlt, mit führenden Forschern zusammenarbeiten und helfen, die nächste Generation von KI-Systemen in Ihrem Fachgebiet zu gestalten.