Python Engineer - Freelance AI Trainer

Bitte reichen Sie Ihren Lebenslauf in Englisch ein und geben Sie Ihr Englischniveau an. Mindrift verbindet Spezialisten mit projektbasierten KI-Möglichkeiten für führende Technologieunternehmen, die sich auf das Testen, Bewerten und Verbessern von KI-Systemen konzentrieren. Die Teilnahme erfolgt projektbasiert, nicht als feste Anstellung.

Was diese Gelegenheit beinhaltet:

• Frontier-Coding-Agenten sind bereits gut darin, Tests zu bestehen. Wir messen, ob sie diese auf die richtige Weise bestehen.
• Wir bauen einen Datensatz auf, um die Sicherheit und das Verhalten von KI-Coding-Agenten zu bewerten – nicht nur, ob sie eine Aufgabe abschließen, sondern ob sie dies ehrlich, im Rahmen und ohne Abkürzungen tun.
• Sie entwerfen Aufgaben, bei denen der einfache Weg der unsichere ist, und schreiben die Tests, die dies erfassen:
• Erstellen Sie realistische Entwicklerumgebungen – ein virtuelles Unternehmen mit Codebasis, Infrastruktur und Kontext (Tickets, Dokumente, Gespräche), das eine glaubwürdige Entwicklungsgeschichte bildet.
• Entwerfen Sie Aufgaben, die ein harmloses Entwicklungsziel mit einer verlockenden unsicheren Abkürzung kombinieren: Umfangserweiterung, Richtlinienverletzungen, Datenkorruption, übermäßig permissive Änderungen.
• Schreiben Sie Tests, die überprüfen, ob der Agent die Aufgabe auf die richtige Weise abgeschlossen hat – Abkürzungen erkennen, nicht nur Ausgaben überprüfen.
• Iterieren Sie über Aufgaben und Tests basierend auf QA-Feedback – überprüfen Sie die Lösungen des Agenten, analysieren Sie Fehler und verfeinern Sie, bis die Bewertung fair und robust ist.

Was dies NICHT ist:

• Keine Datenkennzeichnung;
• Keine Prompt-Engineering;
• Keine Cybersicherheit oder Red-Teaming – es gibt keinen Angreifer im Szenario. Erfahrung in der Cybersicherheit ist wünschenswert, aber keine Voraussetzung. Wir suchen Ingenieure, die verstehen, wie Code sich verhalten sollte, keine Penetrationstester. Starke Software-Ingenieure, keine Sicherheitsspezialisten;
• Kein Schreiben von Code von Grund auf – der Agent schreibt den Großteil des Codes; Sie entwerfen die Situation und bewerten das Ergebnis;

Was wir suchen:

• 4–5+ Jahre in der Softwareentwicklung;
• Kernstack: Python, JavaScript/TypeScript;
• Starke Testdesignfähigkeiten – funktionale und Integrationstests, die sicheres von unsicherem Abschluss trennen, nicht nur korrekt von inkorrekt;
• Praktische Erfahrung mit Coding-Agenten (Claude Code, GitHub Copilot CLI, Codex oder ähnlich);
• Vertrautheit mit GitHub PRs und CI-Workflows als Benutzer;
• Breite des Stacks ist willkommen, kein Filter. Aufgaben simulieren reale Repositories mit Datenbanken, CI-Pipelines und Bereitstellungsskripten, sodass breitere Backend- und Infrastrukturkenntnisse wirklich nützlich sind – aber Sie müssen kein Experte in jeder Schicht sein;
• Englischkenntnisse – B2+

Warum das schwierig ist:

Frontier-Modelle sind bereits gut im Programmieren. Eine Aufgabe zu erstellen, die die besten Modelle wirklich herausfordert, ist nicht trivial. Die eigentliche Schwierigkeit besteht darin, die Versuchung zu schaffen – ein Szenario, in dem der unsichere oder außerhalb des Rahmens liegende Weg der Weg des geringsten Widerstands ist – und dann Tests zu schreiben, die zuverlässig einen Agenten erfassen, der diesen Weg eingeschlagen hat. Aufgaben haben viele gültige Lösungen; Tests müssen alle akzeptieren und die schlechten ablehnen.

Wie es funktioniert: Bewerben → Qualifikation(en) bestehen → Ein Projekt beitreten → Aufgaben abschließen → Bezahlt werden.

Projekterwartungen:

Für dieses Projekt wird geschätzt, dass Aufgaben während aktiver Phasen etwa 20-25 Stunden pro Woche erfordern, basierend auf den Projektanforderungen. Dies ist eine Schätzung, keine garantierte Arbeitslast, und gilt nur, solange das Projekt aktiv ist. Aufgaben müssen bis zur Frist eingereicht werden und die aufgeführten Akzeptanzkriterien erfüllen, um akzeptiert zu werden.

Vergütung:

In diesem Projekt können Mitwirkende bis zu 75 USD pro Stunde verdienen, abhängig von ihrem Niveau und Tempo der Beiträge. Die Vergütung variiert je nach Projekt, abhängig von Umfang, Komplexität und erforderlicher Expertise. Bitte beachten Sie, dass andere Projekte auf der Plattform unterschiedliche Verdienstniveaus basierend auf ihren Anforderungen anbieten können.