Auf einen Blick
- Aufgaben: Entwickle und pflege effiziente verteilte Datenoperationen für LanceDB.
- Unternehmen: LanceDB, führende Plattform für multimodale KI-Anwendungen.
- Vorteile: Wettbewerbsfähige Vergütung, Aktienoptionen und großzügiges Lernbudget.
- Weitere Informationen: Remote-first Team mit flexiblen Arbeitszeiten und exzellenten Karrieremöglichkeiten.
- Warum dieser Job: Gestalte die Zukunft von Open-Source-Projekten und arbeite an bahnbrechenden KI-Systemen.
- Qualifikationen: 10+ Jahre Erfahrung in Hochleistungsdatenbanken und Big Data Systemen.
Das prognostizierte Gehalt liegt zwischen 60000 - 80000 € pro Jahr.
Über LanceDB
LanceDB ist die führende Datenplattform für multimodale KI-Anwendungsfälle. Von hyper-skalierbarer Vektorsuche bis hin zu fortschrittlicher Abruftechnologie für RAG, von Streaming-Trainingsdaten bis zur interaktiven Erkundung großer KI-Datensätze, ist LanceDB die beste Grundlage für Ihre KI-Anwendung und treibt einige der bahnbrechendsten Anwendungen und herausforderndsten Anforderungen von heute an.
Über die Rolle
Wir suchen einen Senior Software Engineer, um die Reichweite von Lance und LanceDB innerhalb des breiteren Dateninfrastruktur-Ökosystems zu erweitern. Sie werden an der Schnittstelle von Hochleistungsrechnen, Big Data und Open-Source-Systemen arbeiten. Sie werden zur Skalierung und Leistungsverbesserungen, Integrationen mit dem breiteren Daten- und KI-Ökosystem, Vereinfachung verteilter Operationen sowie zur Verbesserung der Benutzerfreundlichkeit und Wartbarkeit beitragen.
Sie sind verantwortlich für:
- Entwurf und Wartung effizienter verteilter Lance-Datensatzoperationen
- Aufbau effizienter Indizes zur Ermöglichung von Prädikats-Pushdown und Beschleunigung von Abfragen in Spark, Ray oder Trino
- Arbeiten an Tabellenformaten, Datenkodierungen und verschiedenen Aspekten des Lance-Formats in Rust
- Leitung von Open-Source-Community-Bemühungen zur Integration des Lance-Formats mit Spark, Hive Metastore, Presto, Trino, Ray und anderen Dateninfrastruktursystemen
- Betrieb und Verbesserung der internen Datenverarbeitungsinfrastruktur
- Förderung des Lance-Formats in Open-Source-Communities und auf Big Data-Konferenzen
Voraussetzungen
- 10+ Jahre Erfahrung im Aufbau von Hochleistungsdatenbanken, Big Data-Systemen oder großangelegten Datenservices
- Tiefes Verständnis der Interna von Open-Source-Big-Data- oder KI-Trainingssystemen (z.B. Hadoop, Spark, Flink, Ray, Iceberg, Delta Lake, Hudi, ClickHouse, Trino, Presto, PyTorch oder JAX)
- Starke Erfahrung mit Hochleistungsrechnen in C++, Java und/oder Scala
- Erfahrung mit Rust (oder die Bereitschaft, es zu lernen)
- Nachgewiesene Fähigkeit, schnell zu arbeiten, unabhängig zu agieren und mit einem hochqualifizierten Team zusammenzuarbeiten
Nice to Have
- Beitragender, Committer oder PMC-Mitglied in Apache oder anderen großen Open-Source-Projekten
- Erfahrung mit Apache Arrow, DataFusion, Parquet, Iceberg oder Delta Lake
- Erfolgreiche Umsetzung großer Funktionen oder Integrationen in verteilten Systemen
- Starke Community-Präsenz und Leidenschaft für Open-Source-Zusammenarbeit
Was wir bieten
- Eine Schlüsselrolle bei der Gestaltung eines Open-Source-Projekts mit echtem Produktionsgebrauch
- Remote-first-Team mit flexiblen Arbeitszeiten
- Wettbewerbsfähige Vergütung, Eigenkapital und Leistungen
- Großzügiges Lernbudget und Unterstützung für Open-Source-Beiträge
Warum Sie sich uns anschließen sollten
Sie werden Teil eines erstklassigen Teams von Open-Source-Entwicklern, einschließlich Mitautoren von pandas und Mitwirkenden an HDFS, Arrow, Iceberg und HBase. Sie werden an Systemen zusammenarbeiten, die KI-Workloads der nächsten Generation antreiben, während Sie gestalten, wie LanceDB funktioniert und Produktionsumgebungen skaliert.
Senior Software Engineer Arbeitgeber: LanceDB
LanceDB ist ein herausragender Arbeitgeber, der Ihnen die Möglichkeit bietet, an der Spitze der Dateninfrastruktur für multimodale KI-Anwendungen zu arbeiten. Mit einem remote-first Ansatz und flexiblen Arbeitszeiten fördern wir eine Kultur der Zusammenarbeit und Innovation, während wir gleichzeitig großzügige Lernbudgets und Unterstützung für Open-Source-Beiträge bereitstellen. Hier haben Sie die Chance, in einem hochqualifizierten Team zu wachsen und an bedeutenden Projekten mit realer Produktionsnutzung zu arbeiten.
