Freelance Agent Evaluation Engineer

Bitte reichen Sie Ihren Lebenslauf in Englisch ein und geben Sie Ihr Englischniveau an. Mindrift verbindet Spezialisten mit projektbasierten KI-Möglichkeiten für führende Technologieunternehmen, die sich auf das Testen, Bewerten und Verbessern von KI-Systemen konzentrieren. Die Teilnahme ist projektbasiert, keine Festanstellung.

Was diese Gelegenheit beinhaltet:

• Wir bauen einen Datensatz auf, um KI-Coding-Agenten zu bewerten – wie gut ein Modell reale Entwickleraufgaben bewältigt.
• Sie erstellen herausfordernde Aufgaben und Bewertungskriterien innerhalb realistischer simulierter Umgebungen:
• Erstellen Sie virtuelle Unternehmen gemäß einem übergeordneten Plan - Codebasis, Infrastruktur und Kontext (Gespräche, Dokumentation, Tickets), die eine realistische Umgebung mit Entwicklungsgeschichte bilden.
• Stellen Sie Aufgaben aus Zwischenzuständen des virtuellen Unternehmens zusammen und kalibrieren Sie diese: Gestalten Sie den Prompt, definieren Sie Bewertungskriterien und stellen Sie sicher, dass die Aufgabe lösbar ist und die Bewertung fair ist.
• Entwerfen Sie Aufgaben, die in isolierten Umgebungen angesiedelt sind - Emulationen eines Entwicklerarbeitsplatzes: eine Linux-Maschine mit Entwicklungstools (Terminal, CLI), MCP-Servern (Repository, Aufgabenverfolger, Messenger, Dokumentation usw.) und einer echten Webanwendung-Codebasis.
• Schreiben Sie Tests, die alle richtigen Lösungen akzeptieren und falsche ablehnen - weder zu streng (brechen bei gültigen Ansätzen) noch zu nachsichtig (lassen schlechte durch).
• Iterieren Sie mit einem KI-Agenten bei Tests - überprüfen Sie, ob sie echte Probleme erfassen, keine schlechten Lösungen übersehen und bei guten nicht versagen.
• Überprüfen Sie den von Agenten geschriebenen Code, analysieren Sie, warum ein Agent gescheitert oder erfolgreich war, und entwerfen Sie Grenzfälle und gegnerische Szenarien.
• Iterieren Sie basierend auf dem Feedback von Experten-QA-Überprüfern, die Ihre Arbeit anhand von Qualitätskriterien bewerten.

Was dies NICHT ist:

• Keine Datenkennzeichnung
• Kein Prompt Engineering
• Kein Schreiben von Code von Grund auf - der Agent schreibt den Großteil des Codes; Sie leiten und bewerten.

Ein wesentlicher Teil der Arbeit wird zusammen mit KI erledigt - es ist sehr schwierig, Aufgaben zu erstellen, die Grenzmodelle herausfordern, ohne Grenzmodelle zu verwenden.

Was wir suchen:

• Diese Gelegenheit eignet sich gut für erfahrene Entwickler, Software-Ingenieure und/oder Spezialisten für Testautomatisierung, die offen für Teilzeitprojekte sind.
• Idealerweise haben die Mitwirkenden:
• Abschluss in Informatik, Softwaretechnik oder verwandten Bereichen.
• 5+ Jahre Erfahrung in der Softwareentwicklung, hauptsächlich Python (FastAPI, pytest, async/await, Subprozess, Dateioperationen).
• Hintergrund in der Full-Stack-Entwicklung, mit Erfahrung im Aufbau von React-basierten Schnittstellen (JavaScript/TypeScript) und robusten Backend-Systemen.
• Erfahrung im Schreiben von Tests (funktional, Integration - nicht nur deren Ausführung).
• Docker-Container und Vertrautheit mit Infrastrukturtools (Postgres, Kafka, Redis).
• CI/CD-Verständnis (GitHub Actions als Benutzer: Trigger, Labels, Ergebnisse lesen).
• Englischkenntnisse - B2.

Sie müssen kein Experte in jedem Punkt sein, aber Sie sollten sich wohlfühlen, Code über den gesamten Stack hinweg zu lesen und zu verstehen.

Warum das schwierig ist:

• Grenzmodelle sind bereits gut im Codieren. Eine Aufgabe zu erstellen, die die besten Modelle wirklich herausfordert, ist nicht trivial. Sie müssen tief verstehen, wo Modelle scheitern und welche Szenarien den Unterschied zwischen einer guten und einer schlechten Lösung aufzeigen.
• Aufgaben haben viele gültige Lösungen. Tests zu schreiben, die alle richtigen Lösungen akzeptieren und falsche ablehnen, ist schwieriger als es klingt.

Wie es funktioniert:

• Bewerben → Qualifikation(en) bestehen → Ein Projekt beitreten → Aufgaben abschließen → Bezahlt werden.

Aufwandschätzung:

Aufgaben für dieses Projekt werden auf 20 Stunden geschätzt, abhängig von der Komplexität. Dies ist eine Schätzung und keine Zeitvorgabe; Sie wählen, wann und wie Sie arbeiten. Aufgaben müssen bis zur Frist eingereicht werden und die aufgeführten Akzeptanzkriterien erfüllen, um akzeptiert zu werden.