Staff Software Engineer, Anti-Abuse & Security

Das Unternehmen ist die agentische Softwareerstellungsplattform, die es jedem ermöglicht, Anwendungen mit natürlicher Sprache zu erstellen. Mit Millionen von Nutzern weltweit demokratisiert das Unternehmen die Softwareentwicklung, indem es traditionelle Barrieren zur Anwendungsentwicklung beseitigt.

Über die Rolle: Das Anti-Abuse-Team ist die erste Verteidigungslinie, die die Plattform des Unternehmens vor Ausbeutung schützt. Wir erkennen und stoppen Phishing-Angriffe, verhindern Krypto-Mining auf der kostenlosen Infrastruktur, stoppen LLM-Token-Farming und halten böswillige Akteure davon ab, die Plattform gegen unsere Nutzer zu weaponisieren. Dies ist eine gegnerische Arbeit: Angreifer passen sich ständig an, und wir bauen die Erkennungssysteme, Heuristiken und automatisierten Antworten, die ihnen immer einen Schritt voraus sind. Was diese Rolle einzigartig macht, ist die KI-native Natur der Plattform des Unternehmens. Sie werden an Problemen arbeiten, die anderswo kaum existieren: den Aufbau von Schutzmaßnahmen für KI-generierten Code, die Erkennung von Prompt-Injection-Angriffen im großen Maßstab und die Nutzung von LLMs als Verteidigungswerkzeug gegen Missbrauch. Wenn Sie praktische Erfahrungen bei der Anwendung von KI auf Sicherheitsprobleme sammeln möchten, ist dies einer der wenigen Orte, an denen Sie dies in der Produktion mit echten Angreifern tun können.

Verantwortlichkeiten:

• Entwerfen und Implementieren von LLM-Schutzmaßnahmen, die Missbrauchsszenarien in KI-generiertem Code und Agenteninteraktionen erkennen.
• Erstellen von KI-gestützten Erkennungssystemen, die LLMs verwenden, um böswillige Muster zu identifizieren, Bedrohungen zu klassifizieren und Entscheidungsautomatisierungen durchzuführen.
• Aufbauen und Betreiben von Missbrauchserkennungssystemen, die Phishing, Krypto-Mining, Kontoübernahmen und Finanzbetrug über Millionen täglicher Nutzeraktionen hinweg identifizieren.
• Entwerfen automatisierter Reaktionsmechanismen, die Plattformrichtlinien ohne manuelle Intervention durchsetzen.
• Die gesamte Missbrauchsreaktionslebensdauer besitzen: Erkennung, Untersuchung, Durchsetzung und Bearbeitung von Einsprüchen zusammen mit Support und Recht.
• Angriffsmuster mithilfe von BigQuery und Hex analysieren und Untersuchungsergebnisse in neue Erkennungsregeln umwandeln.
• Interne Erkennungstools (Slurper, Netwatch) warten und erweitern, die kontinuierlich die Nutzeraktivität überwachen.
• Sicherheits-Scanner (SAST, SCA) in CI-Pipelines mit strengen Leistungs-SLAs integrieren und optimieren.
• Missbrauchstrends verfolgen, die Effektivität der Erkennung messen und Abwehrmaßnahmen anpassen, während sich Angriffsmuster weiterentwickeln.

Erforderliche Fähigkeiten und Erfahrungen:

• 8+ Jahre Erfahrung in Sicherheitsengineering, Anti-Missbrauch, Vertrauen & Sicherheit oder Betrugserkennung.
• Starke Programmierkenntnisse in Python und/oder TypeScript zum Erstellen von Erkennungssystemen und Automatisierung.
• Erfahrung mit SQL und Datenanalyse im großen Maßstab (BigQuery, Snowflake oder ähnlich).
• Erfahrung im Aufbau oder der Feinabstimmung von ML/LLM-basierten Klassifikatoren für Sicherheits- oder Missbrauchserkennung.
• Vertrautheit mit Prompt-Injection, Jailbreaking und anderen LLM-spezifischen Angriffsvektoren.
• Fähigkeit, komplexe Missbrauchsmuster zu untersuchen und Erkenntnisse in automatisierte Abwehrmaßnahmen umzuwandeln.
• Vertrautheit mit gängigen Angriffsmustern: Phishing-Infrastruktur, Kontoübernahme, Credential Stuffing, Ressourcenmissbrauch.
• Klare Kommunikationsfähigkeiten für die Zusammenarbeit mit Sicherheits-, Support-, Rechts- und Engineering-Teams.

Nice to Have:

• Erfahrung in einem Plattformunternehmen, das mit nutzergenerierten Inhalten oder Rechenmissbrauch (Hosting-Anbieter, Cloud-Plattformen, Entwickler-Tools) zu tun hat.
• Hintergrund in Betrugserkennung, Zahlungsmissbrauch oder Finanzkriminalität.
• Vertrautheit mit Gerätefingerabdruck, IP-Reputation und E-Mail-Validierungsdiensten.
• Erfahrung mit CI/CD-Sicherheitstools (SAST, SCA, Dependabot, Snyk).
• Kenntnisse in Container-Sicherheit, Linux-Interna oder Cloud-Infrastruktur (GCP bevorzugt).
• Frühere Arbeit mit Missbrauchsberichterstattungspipelines, Vertrauens- & Sicherheitstools oder Inhaltsmoderationssystemen.

Tools + Tech Stack:

• Sprachen: Python, TypeScript, Go, SQL.
• Daten: BigQuery, Hex.
• Erkennungstools: Slurper, Netwatch, Stytch (Gerätefingerabdruck), ClearOut (E-Mail-Reputation).
• CI/CD-Sicherheit: Dependabot, Snyk, SAST/SCA-Scanner.
• Infrastruktur: GCP, Kubernetes.
• Zusammenarbeit: Linear, Slack, Zendesk (für Missbrauchsberichte).

Nicht geeignet:

• Sie bevorzugen tiefgehende Sicherheitsforschung gegenüber dem Aufbau operativer Erkennungssysteme.
• Sie möchten sich auf Schwachstellenmanagement, Pentesting oder Bug-Bounty-Triage konzentrieren (das ist unser Sicherheitsteam).
• Sie suchen eine Rolle mit vorhersehbaren, klar definierten Problemen, anstatt sich ständig an gegnerisches Verhalten anzupassen.
• Sie ziehen es vor, isoliert zu arbeiten, anstatt eng mit Support, Recht und funktionsübergreifenden Teams zusammenzuarbeiten.
• Sie fühlen sich unwohl dabei, Durchsetzungsentscheidungen zu treffen, die echte Nutzer betreffen.

Standort & Vorteile:

Diese Rolle kann von unserem Büro in Foster City, CA, aus wahrgenommen werden. Die Rolle hat eine Büropräsenzpflicht an Montag, Mittwoch und Freitag.

Wettbewerbsfähiges Gehalt & Eigenkapital. 401(k)-Programm mit 4% Matching (nur USA). Gesundheits-, Zahn-, Augen- und Lebensversicherung. Kurz- und Langzeitbehinderung. Bezahlter Eltern-, medizinischer und Pflegeurlaub. Flexible Freizeit (FTO) und Feiertage. Pendelvorteile (nur im Büro). Monatliches Wellness-Stipendium. Autonome Arbeitsumgebung. Erstattung der Büroeinrichtung (nur im Büro). Vierteljährliche Teambesprechungen. Annehmlichkeiten im Büro (nur im Büro).

Um unsere Mission zu erreichen, das Programmieren weltweit zugänglicher zu machen, muss unser Team die Welt repräsentieren. Wir begrüßen Ihre einzigartige Perspektive und Erfahrungen bei der Gestaltung dieses Produkts. Wir ermutigen Menschen aus allen möglichen Hintergründen, sich zu bewerben, einschließlich und insbesondere Kandidaten aus unterrepräsentierten und nicht-traditionellen Hintergründen.