AI Research Engineer (Kernel & Inference Optimization)

Join Tether and shape the future of digital finance. At Tether, wir bauen nicht nur Produkte, wir sind Pioniere einer globalen Finanzrevolution. Unsere fortschrittlichen Lösungen ermöglichen es Unternehmen – von Börsen und Wallets bis hin zu Zahlungsabwicklern und Geldautomaten – Reserve-gestützte Token nahtlos über Blockchains zu integrieren. Durch die Nutzung der Blockchain-Technologie ermöglicht Tether das Speichern, Senden und Empfangen digitaler Token sofort, sicher und weltweit, und das zu einem Bruchteil der Kosten. Transparenz ist das Fundament unseres Handelns und sorgt für Vertrauen in jede Transaktion.

Als Mitglied unseres KI-Modellteams werden Sie Innovationen in der Bereitstellung von Modellen und Inferenzarchitekturen für fortschrittliche KI-Systeme vorantreiben. Ihre Arbeit konzentriert sich auf die Optimierung der Bereitstellung von Modellen und Inferenzstrategien, um eine hochgradig reaktionsschnelle, effiziente und skalierbare Leistung in realen Anwendungen zu liefern. Sie werden an einem breiten Spektrum von Systemen arbeiten, von ressourcenschonenden Modellen, die für begrenzte Hardwareumgebungen ausgelegt sind, bis hin zu komplexen, multimodalen Architekturen, die Daten wie Text, Bilder und Audio integrieren.

Wir erwarten von Ihnen tiefgehende Expertise im Entwerfen und Optimieren von Pipelines zur Bereitstellung von Modellen und Inferenzrahmen sowie einen starken Hintergrund in fortschrittlichen Modellarchitekturen. Sie werden einen praktischen, forschungsgetriebenen Ansatz verfolgen, um neuartige Bereitstellungsstrategien und Inferenzalgorithmen zu entwickeln, zu testen und umzusetzen. Zu Ihren Aufgaben gehören das Engineering robuster Inferenzpipelines, die Festlegung umfassender Leistungskennzahlen und die Identifizierung sowie Behebung von Engpässen in Produktionsumgebungen. Das ultimative Ziel ist es, eine hohe Durchsatzrate, niedrige Latenz, geringen Speicherbedarf und skalierbare KI-Leistung zu ermöglichen, die in dynamischen, realen Szenarien greifbaren Wert liefert.

Verantwortlichkeiten:

• Entwerfen und Bereitstellen von hochmodernen Architekturen zur Bereitstellung von Modellen, die hohe Durchsatzraten und niedrige Latenzzeiten bieten und gleichzeitig den Speicherverbrauch optimieren.
• Sicherstellen, dass diese Pipelines effizient in verschiedenen Umgebungen laufen, einschließlich ressourcenschonender Geräte und Edge-Plattformen.
• Festlegen klarer Leistungsziele wie reduzierte Latenz, verbesserte Token-Antwort und minimierter Speicherbedarf.
• Durchführen und Überwachen kontrollierter Inferenztests in simulierten und Live-Produktionsumgebungen.
• Verfolgen von Leistungskennzahlen wie Antwortlatenz, Durchsatz, Speicherverbrauch und Fehlerquoten, mit besonderem Augenmerk auf Metriken, die spezifisch für ressourcenschonende Geräte sind.
• Dokumentieren iterativer Ergebnisse und Vergleichen der Ergebnisse mit festgelegten Benchmarks zur Validierung der Leistung über Plattformen hinweg.
• Identifizieren und Vorbereiten hochwertiger Testdatensätze und Simulationsszenarien, die auf reale Bereitstellungsherausforderungen zugeschnitten sind, insbesondere auf solche, die bei ressourcenschonenden Geräten auftreten.
• Analysieren der rechnerischen Effizienz und Diagnostizieren von Engpässen in der Bereitstellungspipeline durch Überwachung sowohl der Verarbeitungs- als auch der Speichermetriken.
• Eng mit funktionsübergreifenden Teams zusammenarbeiten, um optimierte Bereitstellungs- und Inferenzrahmen in Produktionspipelines zu integrieren, die für Edge- und On-Device-Anwendungen konzipiert sind.

Qualifikationen:

• Ein Abschluss in Informatik oder einem verwandten Bereich. Idealerweise ein Doktortitel in NLP, Maschinellem Lernen oder einem verwandten Bereich, ergänzt durch eine solide Erfolgsbilanz in der KI-Forschung und -Entwicklung (mit guten Veröffentlichungen in A*-Konferenzen).
• Kenntnisse in der Metal Shading Language (MSL). Sie sollten in der Lage sein, benutzerdefinierte Compute-Shader von Grund auf zu schreiben.
• Nachgewiesene Erfahrung in Low-Level-Kernel-Optimierungen und Inferenzoptimierung auf mobilen Geräten ist unerlässlich.
• Ein tiefes Verständnis moderner Architekturen zur Bereitstellung von Modellen und Techniken zur Inferenzoptimierung ist erforderlich.
• Starke Expertise im Schreiben von GPU-Kernen für mobile Geräte (d.h. Smartphones) sowie ein tiefes Verständnis von Frameworks und Engines zur Bereitstellung von Modellen.
• Praktische Erfahrung in der Entwicklung und Bereitstellung von End-to-End-Inferenzpipelines.
• Nachgewiesene Fähigkeit, empirische Forschung anzuwenden, um Herausforderungen in der Bereitstellung von Modellen zu überwinden.
• Entwurf und Optimierung verteilter Inferenzsysteme.
• Tiefes Verständnis der Mathematik und Struktur hinter Diffusionsmodellen und Vision Transformers.
• Verständnis von Pruning, Quantisierung, Flash Attention, KV Cache, Spekulativem Decoding (Eagle) usw.