AI Security Researcher/Research Engineer

Remote oder hybrid - London bevorzugt

Über Brave: Brave hat sich zum Ziel gesetzt, das Menschenrecht auf Privatsphäre im Internet zu schützen. Wir haben einen kostenlosen Webbrowser entwickelt, der standardmäßig unerwünschte Werbung und Tracker blockiert, eine private Suchmaschine mit einem wirklich unabhängigen Index, einen privaten KI-Assistenten, die neuesten Datenschutz- und Sicherheitsfunktionen sowie ein privates Werbenetzwerk (opt-in!), das Sie direkt für Ihre Aufmerksamkeit belohnt. Bereits über 120 Millionen Menschen nutzen Brave regelmäßig für ein schnelleres, privateres Web. Millionen weitere wechseln jeden Monat.

Zusammenfassung: Wir suchen einen Forscher/Forschungsingenieur, der hilft, die Sicherheitsrisiken zu mindern, die mit dem Aufbau von KI-Systemen verbunden sind - insbesondere LLM-gesteuerten Webagenten und Chatbots. In dieser Rolle entwerfen und implementieren Sie sichere Architekturen, prüfen unseren LLM-gesteuerten Webagenten und Chatbot und helfen, die Richtung von Brave festzulegen, wie wir Sicherheitsrisiken in KI-Produkten identifizieren, messen und reduzieren.

Verantwortlichkeiten:

• Entwerfen und Durchführen von adversarialen Bewertungen, um Fehlermodi in LLM-gesteuerten Webagenten und Chatbots aufzudecken (z.B. Prompt-Injection, Tool-Missbrauch, Datenexfiltration)
• Analysieren des Modellverhaltens (einschließlich interner Gedanken), um Sicherheitsrisiken in Grenzmodellen zu verstehen und vorherzusagen
• Entwickeln und Prototypisieren von sicherheitsfokussierten Trainings- und Feinabstimmungstechniken
• Webagenten mit Sicherheitsprinzipien wie Informationsflusskontrolle, Berechtigungssteuerung und kontextueller Sicherheit erweitern
• Mit Ingenieuren und (Datenschutz-, ML- und kryptografischen) Forschern zusammenarbeiten, um Erkenntnisse in Produktänderungen, Tests und messbare Sicherheitsverbesserungen zu übersetzen
• Eine zukunftsorientierte Sicherheitsstrategie und -politik für den Aufbau und die verantwortungsvolle Veröffentlichung von Webagenten definieren - für den Schutz der Nutzer eintreten

Sie könnten gut passen, wenn Sie:

• Nachweisliche Erfahrung im Bereich sichere KI (Prompt-Injection-Angriffe und Sicherheitsvorkehrungen) haben
• Starke Veröffentlichungsbilanz in der KI-Sicherheit, ML-Sicherheit oder eng verwandten Bereichen vorweisen können
• Erfahrung im Versand von Produkten und Funktionen in einem schnelllebigen Umfeld haben
• Starke Programmierkenntnisse in Python und Vertrautheit mit ML-Frameworks wie PyTorch oder JAX besitzen
• Erfahrung im Training, der Feinabstimmung und der Bewertung großer Sprachmodelle haben
• Tiefes Verständnis für große Sprachmodelle und Webagenten, wie sie funktionieren und wie sie trainiert werden
• Sicherheitsprinzipien anwenden können (z.B. Informationsflusskontrolle, Zugriffskontrolle/geringste Privilegien)
• Erfolg bei der Klärung und Übernahme von unklaren technischen Problemen nachweisen können
• Ein Ph.D. in Informatik ist sehr wünschenswert, aber wir können einige Ausnahmen mit Branchenerfahrung in Betracht ziehen

Fähigkeiten, die Sie von der Konkurrenz abheben:

• Kenntnisse über KI-Systeme (Pipelines, Sicherheitsevaluierung usw.)
• Open-Source-Projekte zu Sicherheit/Privatsphäre
• Erfahrung mit vertraulichem Computing und ZKP/SMPC-Protokollen
• Ph.D. in Informatik von einer Spitzenuniversität
• Starke Veröffentlichungsbilanz in führenden Systemen, Leistung oder ML
• Berufserfahrung in der Industrie ist wünschenswert

Arbeiten bei Brave - Was wir bieten:

• Die Möglichkeit, in einem aufregenden und gut finanzierten internationalen Startup mit Sitz in San Francisco zu arbeiten
• Modernste Technologie, die es Ihnen ermöglicht, mit hochmodernen Werkzeugen und Softwarelösungen zu arbeiten
• Wettbewerbsfähige Vergütung und viel Raum für persönliches Wachstum
• Große internationale Exposition und Teamatmosphäre

Wir suchen Mitarbeiter in London, würden jedoch auch einen außergewöhnlichen Kandidaten im Rest Europas in Betracht ziehen.