AI Agent Evaluation Analyst (Freelance)

Diese Gelegenheit ist nur für Kandidaten, die derzeit im angegebenen Land wohnen. Ihr Standort kann die Berechtigung und die Sätze beeinflussen. Bitte reichen Sie Ihren Lebenslauf auf Englisch ein und geben Sie Ihr Englischniveau an.

Was wir tun

Bei Mindrift trifft Innovation auf Gelegenheit. Wir glauben daran, die Kraft der kollektiven menschlichen Intelligenz zu nutzen, um die Zukunft der KI ethisch zu gestalten. Die Mindrift-Plattform, die von Toloka gestartet und betrieben wird, verbindet Fachexperten mit modernsten KI-Projekten von innovativen Technologie-Kunden. Unsere Mission ist es, das Potenzial von GenAI zu erschließen, indem wir auf das Fachwissen aus der ganzen Welt zurückgreifen.

Wen wir suchen

Wir suchen neugierige und intellektuell proaktive Mitwirkende, die Annahmen doppelt überprüfen und als Teufelsadvokat auftreten. Sind Sie mit Mehrdeutigkeit und Komplexität vertraut? Klingt eine asynchrone, remote, flexible Gelegenheit spannend? Möchten Sie lernen, wie moderne KI-Systeme getestet und bewertet werden?

Diese flexible, projektbasierte Gelegenheit eignet sich gut für:

• Analysten, Forscher oder Berater mit starken kritischen Denkfähigkeiten
• Studierende (Senior-Undergrads / Graduiertenstudenten), die nach einem intellektuell interessanten Job suchen
• Personen, die offen für eine Teilzeit- und nicht permanente Gelegenheit sind

Über das Projekt

Wir suchen QAs für autonome KI-Agenten für ein neues Projekt, das sich auf die Validierung und Verbesserung komplexer Aufgabenstrukturen, Richtlinienlogik und Bewertungsrahmen konzentriert. Im Laufe des Projekts müssen Sie Qualitätssicherung, Forschung und logisches Problemlösen in Einklang bringen. Diese Projektgelegenheit ist ideal für Menschen, die Systeme ganzheitlich betrachten und über Szenarien, Implikationen und Randfälle nachdenken. Sie benötigen keinen Programmierhintergrund, aber Sie müssen neugierig, intellektuell rigoros und in der Lage sein, die Solidität und Konsistenz komplexer Setups zu bewerten. Wenn Sie in der Beratung, bei CHGK, Olympiaden, Fallstudien oder im systemischen Denken hervorragende Leistungen erbracht haben, könnten Sie gut passen.

Was Sie tun werden

• Bewertung von Evaluierungsaufgaben und -szenarien auf Logik, Vollständigkeit und Realismus
• Identifizierung von Inkonsistenzen, fehlenden Annahmen oder unklaren Entscheidungspunkten
• Hilfe bei der Definition klarer erwarteter Verhaltensweisen (Goldstandards) für KI-Agenten
• Annotieren von Ursache-Wirkungs-Beziehungen, Denkpfaden und plausiblen Alternativen
• Durchdenken komplexer Systeme und Richtlinien, um sicherzustellen, dass Agenten ordnungsgemäß getestet werden
• Enges Zusammenarbeiten mit QA, Autoren oder Entwicklern, um Verfeinerungen oder Randfallabdeckungen vorzuschlagen

Wie Sie anfangen können

Bewerben Sie sich auf diesen Beitrag, qualifizieren Sie sich und erhalten Sie die Chance, zu einem Projekt beizutragen, das mit Ihren Fähigkeiten übereinstimmt, nach Ihrem eigenen Zeitplan. Gestalten Sie die Zukunft der KI, während Sie Werkzeuge entwickeln, die allen zugutekommen.

Anforderungen

• Ausgezeichnetes analytisches Denken: kann über komplexe Systeme, Szenarien und logische Implikationen nachdenken
• Starke Aufmerksamkeit für Details: kann Widersprüche, Mehrdeutigkeiten und vage Anforderungen erkennen
• Vertrautheit mit strukturierten Datenformaten: kann JSON/YAML lesen, aber nicht unbedingt schreiben
• Fähigkeit, Szenarien ganzheitlich zu bewerten: was fehlt, was ist unrealistisch, was könnte brechen
• Gute Kommunikation und klares Schreiben (in Englisch), um Ihre Ergebnisse zu dokumentieren

Wir schätzen auch Bewerber, die Folgendes haben:

• Erfahrung mit Politikevaluierung, Logikrätseln, Fallstudien oder strukturiertem Szenariodesign
• Hintergrund in der Beratung, Akademia, Olympiaden (z.B. Logik/Mathe/Informatik) oder Forschung
• Exposition gegenüber LLMs, Prompt Engineering oder KI-generierten Inhalten
• Vertrautheit mit QA oder Testfalldenken (Randfälle, Fehlermodi, "was könnte schiefgehen")
• Ein gewisses Verständnis dafür, wie Bewertung oder Evaluierung in der Agententestung funktioniert (Präzision, Abdeckung usw.)

Vorteile

• Erhalten Sie eine Vergütung für Ihr Fachwissen, mit Sätzen, die je nach Ihren Fähigkeiten, Erfahrungen und Projektbedürfnissen bis zu 52 $/Stunde betragen können
• Nehmen Sie an einem flexiblen, remote, freiberuflichen Projekt teil, das sich um Ihre primären beruflichen oder akademischen Verpflichtungen herumfügt
• Teilnahme an einem fortschrittlichen KI-Projekt und wertvolle Erfahrungen sammeln, um Ihr Portfolio zu verbessern
• Beeinflussen Sie, wie zukünftige KI-Modelle in Ihrem Fachgebiet verstehen und kommunizieren

Senioritätsgrad: Praktikum

Beschäftigungsart: Teilzeit

Funktionsbereich: Sonstiges

Branchen: IT-Dienstleistungen und IT-Beratung

Standort: Köln, Nordrhein-Westfalen, Deutschland