Staff Software Engineer, Trust & Safety

Das Unternehmen ist die Agentur für die Erstellung von Software, die es jedem ermöglicht, Anwendungen mit natürlicher Sprache zu erstellen. Mit Millionen von Nutzern weltweit demokratisiert das Unternehmen die Softwareentwicklung, indem es traditionelle Barrieren zur Anwendungsentwicklung beseitigt.

Über die Rolle

Das Trust & Safety-Team ist die erste Verteidigungslinie, die die Plattform des Unternehmens vor Ausbeutung schützt. Wir erkennen und stoppen Phishing-Angriffe, verhindern Krypto-Mining auf der kostenlosen Infrastruktur, stoppen LLM-Token-Farming und halten böswillige Akteure davon ab, die Plattform gegen unsere Nutzer zu weaponisieren. Dies ist eine gegnerische Arbeit: Angreifer passen sich ständig an, und wir entwickeln die Erkennungssysteme, Heuristiken und automatisierten Antworten, die ihnen immer einen Schritt voraus sind. Was diese Rolle einzigartig macht, ist die KI-native Natur der Plattform des Unternehmens. Sie werden an Problemen arbeiten, die anderswo kaum existieren: den Aufbau von Schutzmaßnahmen für KI-generierten Code, die Erkennung von Prompt-Injection-Angriffen im großen Maßstab und die Nutzung von LLMs als Verteidigungswerkzeug gegen Missbrauch. Wenn Sie praktische Erfahrungen in der Anwendung von KI auf Sicherheitsprobleme sammeln möchten, ist dies einer der wenigen Orte, an denen Sie dies in der Produktion mit echten Angreifern tun können. Sie werden Probleme von Anfang bis Ende besitzen, von der Identifizierung neuer Missbrauchsmuster bis hin zum Versand der Systeme, die sie im großen Maßstab stoppen.

Verantwortlichkeiten

• Entwerfen und Implementieren von LLM-Schutzmaßnahmen, die Missbrauchsszenarien in KI-generiertem Code und Agenteninteraktionen erkennen.
• Aufbau von KI-gestützten Erkennungssystemen, die LLMs verwenden, um bösartige Muster zu identifizieren, Bedrohungen zu klassifizieren und Entscheidungsprozesse zu automatisieren.
• Aufbau und Betrieb von Missbrauchserkennungssystemen, die Phishing, Krypto-Mining, Kontoübernahmen und Finanzbetrug über Millionen täglicher Benutzeraktionen hinweg identifizieren.
• Entwerfen automatisierter Reaktionsmechanismen, die Plattformrichtlinien ohne manuelle Intervention durchsetzen.
• Die gesamte Missbrauchsreaktionslebensdauer besitzen: Erkennung, Untersuchung, Durchsetzung und Bearbeitung von Einsprüchen zusammen mit Support und Recht.
• Angriffsmuster mithilfe von BigQuery und Hex analysieren und Untersuchungsergebnisse in neue Erkennungsregeln umwandeln.
• Interne Erkennungstools (Slurper, Netwatch) pflegen und erweitern, die kontinuierlich die Benutzeraktivität überwachen.
• Sicherheits-Scanner (SAST, SCA) in CI-Pipelines mit strengen Leistungs-SLAs integrieren und optimieren.
• Missbrauchstrends verfolgen, die Effektivität der Erkennung messen und Abwehrmaßnahmen anpassen, während sich die Angriffsmuster weiterentwickeln.

Erforderliche Fähigkeiten und Erfahrungen

• 8+ Jahre Erfahrung in Sicherheitsengineering, Anti-Missbrauch, Trust & Safety oder Betrugserkennung.
• Starke Programmierkenntnisse in Python und/oder TypeScript zum Aufbau von Erkennungssystemen und Automatisierung.
• Erfahrung mit SQL und Datenanalyse im großen Maßstab (BigQuery, Snowflake oder ähnlich).
• Erfahrung im Aufbau oder der Feinabstimmung von ML/LLM-basierten Klassifikatoren für Sicherheits- oder Missbrauchserkennung.
• Vertrautheit mit Prompt-Injection, Jailbreaking und anderen LLM-spezifischen Angriffsvektoren.
• Fähigkeit, komplexe Missbrauchsmuster zu untersuchen und Ergebnisse in automatisierte Abwehrmaßnahmen zu übersetzen.
• Vertrautheit mit gängigen Angriffsmustern: Phishing-Infrastruktur, Kontoübernahme, Credential Stuffing, Ressourcenmissbrauch.
• Klare Kommunikationsfähigkeiten für die Zusammenarbeit mit Sicherheits-, Support-, Rechts- und Engineering-Teams.

Wünschenswert

• Erfahrung in einem Plattformunternehmen, das mit nutzergenerierten Inhalten oder Rechenmissbrauch (Hosting-Anbieter, Cloud-Plattformen, Entwickler-Tools) zu tun hat.
• Hintergrund in Betrugserkennung, Zahlungsmissbrauch oder Finanzkriminalität.
• Vertrautheit mit Gerätefingerabdruck, IP-Reputation und E-Mail-Validierungsdiensten.
• Erfahrung mit CI/CD-Sicherheitstools (SAST, SCA, Dependabot, Snyk).
• Kenntnisse in Container-Sicherheit, Linux-Interna oder Cloud-Infrastruktur (GCP bevorzugt).
• Frühere Arbeit mit Missbrauchsberichterstattungspipelines, Trust & Safety-Tools oder Inhaltsmoderationssystemen.

Tools + Tech-Stack für diese Rolle

• Sprachen: Python, TypeScript, Go, SQL.
• Daten: BigQuery, Hex.
• Erkennungstools: Slurper, Netwatch, Stytch (Gerätefingerabdruck); ClearOut (E-Mail-Reputation).
• CI/CD-Sicherheit: Dependabot, Snyk, SAST/SCA-Scanner.
• Infrastruktur: GCP, Kubernetes.
• Zusammenarbeit: Linear, Slack, Zendesk (für Missbrauchsberichte).

Diese Rolle passt möglicherweise nicht, wenn

• Sie tiefgehende Sicherheitsforschung über den Aufbau operativer Erkennungssysteme bevorzugen.
• Sie sich auf Schwachstellenmanagement, Pentesting oder Bug-Bounty-Triage konzentrieren möchten (das ist unser Sicherheitsteam).
• Sie nach einer Rolle mit vorhersehbaren, klar definierten Problemen suchen, anstatt sich ständig an gegnerisches Verhalten anzupassen.
• Sie lieber isoliert arbeiten als eng mit Support, Recht und funktionsübergreifenden Teams zusammenzuarbeiten.
• Sie sich unwohl fühlen, Durchsetzungsentscheidungen zu treffen, die echte Nutzer betreffen.

Vorteile

• Wettbewerbsfähiges Gehalt & Eigenkapital.
• 401(k)-Programm mit 4% Matching (nur in den USA).
• Kranken-, Zahn-, Augen- und Lebensversicherung.
• Kurzzeit- und Langzeitbehinderung.
• Bezahlter Eltern-, medizinischer und Pflegeurlaub.
• Flexible Freizeit (FTO) + Feiertage.
• Fahrgeldleistungen (nur im Büro).
• Monatlicher Wellness-Zuschuss.
• Autonome Arbeitsumgebung.
• Rückerstattung für Büroeinrichtung (nur im Büro).
• Vierteljährliche Teambesprechungen.
• Büroannehmlichkeiten (nur im Büro).

Um unsere Mission zu erreichen, das Programmieren weltweit zugänglicher zu machen, benötigen wir ein Team, das die Welt repräsentiert. Wir begrüßen Ihre einzigartige Perspektive und Erfahrungen bei der Gestaltung dieses Produkts. Wir ermutigen Menschen aus allen möglichen Hintergründen, sich zu bewerben, einschließlich und insbesondere Kandidaten aus unterrepräsentierten und nicht-traditionellen Hintergründen.