Staff Software Engineer (Agentic Search) - Crawler in Zürich

Über Nebius

Nebius führt eine neue Ära in der Cloud-Infrastruktur für die globale KI-Wirtschaft an. Wir bauen eine Full-Stack-AI-Cloud-Plattform, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Produktionsbereitstellung unterstützt, ohne die Kosten und die Komplexität des Aufbaus großer interner AI/ML-Infrastrukturen. Von Ingenieuren für Ingenieure. Von der GPU-Orchestrierung im großen Maßstab bis zur Optimierung der Inferenz lösen wir die schwierigen Probleme in den Bereichen Rechenleistung, Speicherung, Netzwerk und angewandte KI.

Das Produkt

In einer sich schnell entwickelnden Welt hängt das Vertrauen in KI davon ab, dass KI-Agenten auf frischen, verifizierten Echtzeitdaten basieren. Die Suche ist die Grundlage, die dies ermöglicht. Wir bauen eine agent-native Suchplattform, die speziell für KI-Systeme und nicht für menschliche Benutzer entwickelt wurde. Unser Produkt bietet programmatische, latenzarme und beobachtbare Such-APIs, die KI-Agenten verwenden, um Informationen aus der realen Welt in großem Maßstab abzurufen, zu filtern und zu verarbeiten.

Die Rolle

Wir suchen einen Staff Software Engineer, der an der Inhaltsakquise und der Crawling-Infrastruktur einer neuartigen Suchmaschine arbeitet, die auf den Verbrauch durch agentische KI zugeschnitten ist. In dieser Rolle konzentrieren Sie sich auf den Aufbau von Systemen, die Inhalte aus dem offenen Web und anderen großflächigen Datenquellen entdecken, abrufen und kontinuierlich aktualisieren. Sie entwerfen eine verteilte Crawling-, Planungs- und Ingestionsinfrastruktur, die in der Lage ist, im Internetmaßstab zu arbeiten, während Sie Abdeckung, Aktualität, Ressourceneffizienz und Zuverlässigkeit ausbalancieren. Sie arbeiten an Systemen, die Milliarden von URLs verarbeiten, Hochdurchsatzdatenströme verwalten und sicherstellen, dass qualitativ hochwertige Inhalte konsistent für nachgelagerte Indexierungs- und Abrufsysteme verfügbar sind.

Zu Ihren Aufgaben gehören:

• Entwurf, Implementierung und Betrieb von Crawling-Systemen im Webmaßstab zur Akquise von Inhalten aus dem Internet
• Aufbau von Ingestions-Workflows für interne und externe Datenquellen, einschließlich Crawler, strukturierte Feeds und Partnerintegrationen
• Entwicklung von Crawling-Planung, Priorisierungs-, Wieder-Crawling-Richtlinien und Aktualisierungsstrategien
• Aufbau von Systemen zur URL-Entdeckung, Duplikationserkennung, Inhaltsextraktion und Crawling-Orchestrierung
• Sicherstellung des zuverlässigen Betriebs der Crawling-Infrastruktur unter Hochdurchsatzbedingungen
• Definition von Beobachtungs- und Qualitätsmetriken für Crawling-Abdeckung, Aktualität, Durchsatz und Inhaltsqualität
• Überwachung der Ressourcennutzung, Bandbreitenverbrauch und Infrastrukturkosten
• Zusammenarbeit mit Indexierungs- und ML-Teams, um sicherzustellen, dass die akquirierten Inhalte den Anforderungen an Abruf und Ranking entsprechen
• Ermöglichung sicherer Experimente mit Crawling-Strategien und Inhaltsakquisitionsrichtlinien

Sie passen gut zu uns, wenn Sie:

• Über 8 Jahre Erfahrung im Aufbau von Backend- oder verteilten Systemen verfügen
• Starke Kenntnisse in Go oder C++ haben
• Erfahrung mit großflächigen verteilten Systemen (10k+ RPS, Milliarden von URLs, Hochdurchsatz-Pipelines) besitzen
• Verständnis von Webprotokollen (HTTP, DNS, TLS), Crawling, Scraping und Inhaltsextraktion haben
• Erfahrung im Betrieb von Produktionssystemen und der Fehlersuche in verteilten Umgebungen haben
• Ein starkes Verständnis für Skalierbarkeit, Fehlertoleranz und Ressourcenmanagement besitzen

Starke Kandidaten haben möglicherweise auch Erfahrung mit:

• Web-Crawling
• Aufbau von Streaming-Datenpipelines und ereignisgesteuerten Systemen
• Kafka, Pulsar, NATS, RabbitMQ oder ähnlichen Messaging-Plattformen
• Entwurf verteilter Scheduler, Warteschlangen und asynchroner Verarbeitungssysteme
• Spark, Flink, Beam oder MapReduce
• Ad-Tech, soziale Netzwerke, Suchmaschinen oder andere großflächige Inhaltsplattformen

Wir führen Programmierinterviews als Teil des Prozesses durch.

Vorteile & Anreize

• Wettbewerbsfähige Vergütung
• Karrierewachstums- und Lernmöglichkeiten
• Flexibilität und Eigenverantwortung
• Kollaborative und innovative Kultur
• Gelegenheit, an bedeutenden KI-Projekten zu arbeiten
• Internationales Umfeld und talentierte Teams

Wie ist es, bei Nebius zu arbeiten?

• Schnelllebig
• Mutiges Denken
• Ständiges Wachstum
• Bedeutungsvolle Auswirkungen
• Vertrauen und echte Verantwortung
• Gelegenheit, die Zukunft der KI zu gestalten

Gleichstellungserklärung

Nebius ist ein Arbeitgeber, der Chancengleichheit bietet. Wir setzen uns dafür ein, ein integratives und diverses Arbeitsumfeld zu fördern und Chancengleichheit in allen Aspekten der Beschäftigung zu gewährleisten. Wir diskriminieren nicht aufgrund von Rasse, Hautfarbe, Religion, Geschlecht (einschließlich Schwangerschaft), nationaler Herkunft, Abstammung, Alter, Behinderung, genetischen Informationen, Familienstand, Veteranenstatus, sexueller Orientierung, Geschlechtsidentität oder -ausdruck oder einer anderen durch geltendes Recht geschützten Eigenschaft. Bewerber müssen berechtigt sein, in dem Land zu arbeiten, in dem sie sich bewerben, und müssen einen Nachweis über die Beschäftigungsberechtigung als Bedingung für die Einstellung vorlegen. Wenn Sie während des Bewerbungsprozesses Unterstützung benötigen, lassen Sie es uns bitte wissen.