Researcher, Evaluations

Epoch AI sucht einen Forscher, um fortschrittliche KI-Modelle bei schwer zu bewertenden Aufgaben aus realen Szenarien zu evaluieren. Wir suchen einen Forscher, der eine neue Initiative leitet, um zu bewerten, wie gut fortschrittliche Modelle bei den Arten von offenen Aufgaben abschneiden, die die reale Büroarbeit ausmachen. Sie werden eine Suite realistischer Aufgaben kuratieren, die als Benchmark dienen, die Bewertungsrichtlinien für die KI-Leistung entwerfen und neu veröffentlichte Modelle durch die Suite laufen lassen, um ihre Leistung sowohl quantitativ als auch qualitativ zu bewerten. Der Fokus liegt darauf, wie Modelle mit chaotischer, realer Arbeit umgehen, nicht auf wissenschaftlichem Wissen oder Programmierfähigkeiten. Die Rolle nutzt stark KI-Tools, aber umfangreiche Software-Engineering-Erfahrung ist nicht erforderlich. Komfort beim Einrichten von KI-unterstützten automatisierten Workflows ist von Vorteil.

Hauptverantwortlichkeiten

• Erstellen und Kuratieren einer Evaluierungssuite. Finden Sie reale Aufgaben, die als herausfordernde Tests für praktische KI-Fähigkeiten dienen, und aktualisieren Sie die Aufgaben im Laufe der Zeit, während sich die KI-Fähigkeiten weiterentwickeln. Entwickeln Sie Richtlinien zur Bewertung der KI-Leistung.
• Bewertung von KI-Systemen. Regelmäßige Bewertung neuer, bemerkenswerter KI-Modelle und Produkte anhand der Aufgaben-Suite. Aktualisieren Sie Aufgaben und Richtlinien, um die sich verändernde Landschaft der KI-Fähigkeiten widerzuspiegeln.
• Kommunizieren Sie Ihre Forschung. Erstellen Sie öffentliche Berichte, Blogbeiträge und Datenvisualisierungen mit Ihren Beobachtungen. Stellen Sie sicher, dass die Bewertungen in unsere anderen Forschungsthemen einfließen und unser Team informiert bleibt.
• Datenanalyse durchführen. Analysieren Sie die Bewertungsergebnisse und vergleichen Sie Modelle über Aufgaben hinweg.
• Verbessern Sie den Prozess. Sie könnten Teile des Workflows automatisieren und Teile der Bewertung in eigenständige Benchmarks ausbauen.

Was wir suchen

• Analytisches Denken. Sie führen Experimente mit Sorgfalt und Genauigkeit durch und stellen sicher, dass die Ergebnisse gut durch Beweise gestützt sind.
• Fundierte, skeptische Mentalität. Sie bilden sich eine eigene gut begründete Meinung darüber, was ein KI-System leisten kann, und unterscheiden praktische Fähigkeiten von Hype.
• Komfort mit KI-Agenten und -Tools. Sie haben Erfahrung im Umgang mit KI-Agenten im Rahmen Ihrer eigenen Arbeit und sind damit vertraut, Aufgaben zu delegieren.
• Vertrautheit mit KI-Benchmarks und -Bewertungen. Sie verfolgen KI-Fähigkeiten mindestens gelegentlich und haben Meinungen dazu, was Benchmarks uns sagen und was nicht.
• Forschungserfahrung und Datenanalyse, einschließlich ausreichendem Komfort mit leichtem Codieren, um Ihre eigenen Ergebnisse zu analysieren.
• Starke schriftliche Kommunikationsfähigkeiten: Sie können nuancierte Beobachtungen klar und präzise vermitteln.

Schön zu haben

• Erfahrung mit dem Testen fortschrittlicher Modelle und dem Schreiben von Bewertungen ihrer Fähigkeiten.
• Programmierkenntnisse, einschließlich Python-Kenntnissen.

Vergütung & Vorteile

• Jahresgehalt zwischen 115.000 und 200.000 USD, abhängig von Standort und Erfahrung. Gehälter sind nicht auf USD beschränkt, und Verträge sowie Zahlungen erfolgen in der Regel in lokalen Währungen. Umrechnungen basieren auf den durchschnittlichen Wechselkursen eines Jahres.
• Vollständig remote Umgebung, einschließlich flexibler Arbeitszeiten.
• Wettbewerbsfähiges globales Leistungsprogramm, einschließlich eines umfassenden Krankenversicherungsprogramms – ergänzende Leistungen, die spezifisch für ein Land sind, sofern verfügbar und gesetzlich vorgeschrieben, sowie Lebensversicherung und Rentenplan, falls in Ihrem Land anwendbar.
• Großzügiger bezahlter Urlaub (PTO), einschließlich keiner spezifischen jährlichen Begrenzung, mit 30 Tagen PTO pro Jahr geschützt, unbegrenztem persönlichen und Krankheitsurlaub sowie 4 Monaten bezahltem Elternurlaub für festangestellte Mitarbeiter mit mindestens 12 Monaten Betriebszugehörigkeit (anteiliger Elternurlaub, wenn weniger als 12 Monate).
• Eine flexible und großzügige Ausgabenrichtlinie, die es Ihnen ermöglicht, Ausgaben für Ausrüstung und eine große Auswahl an Produktivitätswerkzeugen oder Lern-/Entwicklungsmöglichkeiten zu tätigen, einschließlich unbegrenzter Ausgaben für KI-Tools, vorbehaltlich der Vorschriften und Genehmigung durch den Vorgesetzten.
• Bezahlte Dienstreisen, einschließlich 3 Mitarbeiter-Retreats pro Jahr und relevanten Konferenzen.
• Zugang zu unseren sehr gut ausgestatteten Büros in Berkeley, Kalifornien, einschließlich bezahlter Mahlzeiten, Snacks, Fitnessstudio und mehr. Alle Mitarbeiter, unabhängig davon, wo sie ansässig sind, haben Zugang zum Büro für mindestens 20 Tage pro Jahr.

Inklusionsstatement

Epoch setzt sich dafür ein, eine inklusive, gerechte und unterstützende Gemeinschaft aufzubauen, in der Sie gedeihen und Ihre beste Arbeit leisten können. Wir sind bestrebt, die besten Menschen für unser Team zu finden, also zögern Sie bitte nicht, sich für eine Stelle zu bewerben, unabhängig von Ihrem Alter, Geschlechtsidentität/-ausdruck, politischer Identität, persönlichen Vorlieben, körperlichen Fähigkeiten, Veteranenstatus, Neurodiversität oder einem anderen Hintergrund.