AI Research Engineer (Model Compression & Quantization)

Schließen Sie sich Tether an und gestalten Sie die Zukunft der digitalen Finanzen. Bei Tether bauen wir nicht nur Produkte, wir sind Pioniere einer globalen Finanzrevolution. Unsere fortschrittlichen Lösungen ermöglichen es Unternehmen – von Börsen und Wallets bis hin zu Zahlungsabwicklern und Geldautomaten – Reserve-gestützte Token nahtlos über Blockchains zu integrieren.

Als Mitglied unseres KI-Forschungsteams werden Sie Innovationen in der Modellkompression und effizienten Bereitstellung für fortschrittliche multimodale KI-Systeme vorantreiben, einschließlich großer Sprachmodelle (LLMs) und Bild-Sprachmodelle (VLMs). Ihre Arbeit wird sich darauf konzentrieren, den Modellfußabdruck und die Rechenkosten zu reduzieren, während die Genauigkeit erhalten bleibt, um leistungsstarke KI effizient auf ressourcenbeschränkten Edge-Geräten auszuführen.

Ihre Aufgaben umfassen:

• Anwendung von Low-Bit-Quantisierung zur Reduzierung der Modellgröße und Inferenzlatenz für generative KI-Modelle (LLMs, VLMs, multimodal), während die Genauigkeit und Ausgabequalität erhalten bleibt.
• Nutzung von Wissensdistillation zur Übertragung von Fähigkeiten von größeren Lehrermodellen auf kleinere Schüler Modelle, um effizientes multimodales Denken über Text-, Bild- und Audioeingaben zu ermöglichen.
• Implementierung von Pruning-Techniken zur Entfernung redundanter Parameter und Aufmerksamkeitsköpfe, um den Rechenaufwand zu reduzieren, ohne die Aufgabenleistung zu beeinträchtigen.
• Analyse von Kompromissen zwischen Modelleffizienz (Größe, Latenz, Speicher) und Genauigkeit über Quantisierungs-, Distillations- und Pruning-Methoden; Vorschläge zur Verbesserung basierend auf empirischen Ergebnissen.
• Forschung und Anwendung von Mixed-Precision-Quantisierung und anderen fortschrittlichen Kompressionsstrategien zur Optimierung des Genauigkeits-Leistungs-Verhältnisses.
• Aktuell bleiben mit den neuesten Forschungen zur Modellkompression, einschließlich neuer Techniken für multimodale und generative Architekturen.
• Dokumentation von Methoden, Experimenten und Ergebnissen zur Unterstützung der Reproduzierbarkeit, internen Zusammenarbeit und Kommunikation mit Stakeholdern.
• Verfassen technischer Arbeiten und Veröffentlichung von Ergebnissen auf erstklassigen Konferenzen, um das Feld der Modellkompression für multimodale KI voranzutreiben.

Voraussetzungen:

• Ein Abschluss in Informatik oder einem verwandten Bereich. Idealerweise ein Doktortitel in NLP, Maschinenlernen oder einem verwandten Bereich, ergänzt durch eine solide Erfolgsbilanz in der KI-Forschung und -Entwicklung.
• Erfahrung mit PyTorch oder gleichwertigen Deep-Learning-Frameworks.
• Praktische Erfahrung mit Modellquantisierung, einschließlich Quantization-Aware Training (QAT) und Post-Training Quantization (PTQ).
• Forschung und praktische Erfahrung mit Wissensdistillation zur Kompression großer Modelle in kleinere, effiziente Modelle.
• Forschung und praktische Erfahrung mit Modellpruning zur Kompression großer Modelle in kleinere, effiziente Modelle.
• Solides Verständnis von neuronalen Netzwerkarchitekturen und Trainingsprozessen – einschließlich Transformer (z.B. LLMs, VLMs), Rückpropagation, Optimierung und Feinabstimmungstechniken.
• Kenntnisse in C++ sind von Vorteil (insbesondere für die Implementierung von Low-Level-Quantisierungskernen oder Inferenzoptimierungen).