Distributed Systems Engineer - Data Platform (Delivery, Database, Retrieval)

Standorte: Austin (USA), Atlanta (USA), Denver (USA), Toronto (Kanada)

Wir suchen erfahrene und hochmotivierte Ingenieure, die unserem DATA-Team beitreten und die Zukunft der Daten im Unternehmen mitgestalten. Unsere Organisation ist verantwortlich für den gesamten Datenlebenszyklus - von der Aufnahme und Verarbeitung bis zur Speicherung und Abfrage - und ermöglicht es unseren Kunden, in Echtzeit Einblicke in die Gesundheit und Leistung ihrer Online-Eigenschaften zu erhalten. Unsere Mission ist es, Kunden zu befähigen, ihre Daten zu nutzen, um bessere Ergebnisse für ihr Geschäft zu erzielen. Wir bauen und warten eine Suite von leistungsstarken, skalierbaren Systemen, die mehr als eine Milliarde Ereignisse pro Sekunde verarbeiten.

Als Ingenieur in unserer Organisation haben Sie die Möglichkeit, an komplexen Herausforderungen in verteilten Systemen in verschiedenen Bereichen unseres Datenstacks zu arbeiten. Unser Data-Team besteht aus mehreren Schlüsselgruppen, und Sie könnten zu einem der folgenden Bereiche beitragen:

• Datenlieferung: Sie werden unsere verteilte Datenlieferpipeline aufbauen und betreiben, ein hochdurchsatzfähiges, latenzarmes System (hauptsächlich in Go geschrieben), das massive Datenmengen aus dem globalen Netzwerk des Unternehmens auf mehrkernige Ziele aufnimmt, verarbeitet und weiterleitet.
• Analytische Datenbankplattform: Beitrag zu unserer zentralen analytischen Plattform, die von ClickHouse unterstützt wird. Dieses Team baut und wartet eine leistungsstarke, skalierbare Datenbankplattform, die für die enormen analytischen Arbeitslasten optimiert ist, die durch unsere Produkte und Dienstleistungen erzeugt werden.
• Datenabfrage: Verantwortlich für den Aufbau der kundenorientierten Produkte, die Daten zugänglich und umsetzbar machen. Dazu gehört die Entwicklung unserer öffentlichen GraphQL-API, der Aufbau robuster Log-Lieferlösungen und Integrationen mit Kundenzielen sowie der Beitrag zu unseren Alarmierungsprodukten, die es Benutzern ermöglichen, nahezu in Echtzeit Alarme basierend auf den von unserer Datenplattform beobachteten Protokollen und Metriken zu konfigurieren und zu empfangen.

Verantwortlichkeiten:

• Entwerfen, entwickeln und warten von skalierbaren und zuverlässigen verteilten Systemen über den gesamten Datenlebenszyklus.
• Aufbau und Optimierung wichtiger Komponenten unserer hochdurchsatzfähigen Datenlieferplattform, um die Datenintegrität und latenzarme Lieferung sicherzustellen.
• Entwicklung neuer und Verbesserung bestehender Komponenten für die analytische Plattform des Unternehmens zur Erweiterung der Funktionalität und Leistung.
• Skalierung, Überwachung und Wartung der Leistung unserer großangelegten Datenbankcluster zur Bewältigung des wachsenden Datenvolumens.
• Entwicklung und Verbesserung unserer kundenorientierten GraphQL-APIs, Log-Liefer- und Alarmierungslösungen mit Fokus auf Leistung, Zuverlässigkeit und Benutzererfahrung.
• Identifizierung und Beseitigung von Engpässen in unseren Datenplattformen, von der Optimierung der Datenaufnahmeprozesse bis zur Optimierung der Abfrageleistung.
• Zusammenarbeit mit anderen Teams im Unternehmen, um deren Datenbedürfnisse zu verstehen und Lösungen zu entwickeln, die sie in die Lage versetzen, datengestützte Entscheidungen zu treffen.
• Zusammenarbeit mit der ClickHouse-Open-Source-Community, um neue Funktionen hinzuzufügen und zum upstream-Codebeitrag beizutragen.
• Teilnahme an der Entwicklung der nächsten Generation unserer Datenplattformen, einschließlich Forschung und Bewertung neuer Technologien und Ansätze.

Wesentliche Qualifikationen:

• Über 3 Jahre Erfahrung in der Softwareentwicklung mit Schwerpunkt auf verteilten Systemen und Datenbanken.
• Starke Programmierkenntnisse (Golang ist bevorzugt) sowie ein tiefes Verständnis der besten Praktiken und Prinzipien der Softwareentwicklung.
• Praktische Erfahrung mit modernen Observability-Stacks, einschließlich Prometheus, Grafana, und ein starkes Verständnis für den Umgang mit hochgradigen Metriken im großen Maßstab.
• Starkes Wissen über SQL und Datenbankinternas, einschließlich Erfahrung mit Datenbankdesign, Optimierung und Leistungsanpassung.
• Eine solide Grundlage in der Informatik, einschließlich Algorithmen, Datenstrukturen, verteilte Systeme und Parallelität.
• Starke analytische und problemlösende Fähigkeiten, mit der Bereitschaft, komplexe Probleme im großen Maßstab zu debuggen, zu beheben und zu lernen.
• Fähigkeit zur Zusammenarbeit in einem Teamumfeld und effektive Kommunikation mit anderen Teams im Unternehmen.
• Erfahrung mit ClickHouse ist von Vorteil.
• Erfahrung mit Datenstreaming-Technologien.