PhD Fellowship (LLM Architecture Optimization) (f/m/d)

Die Mission von Aleph Alpha Research ist es, kategoriedefinierende KI-Innovationen zu liefern, die eine offene, zugängliche und vertrauenswürdige Bereitstellung von GenAI in industriellen Anwendungen ermöglichen. Unsere Organisation entwickelt grundlegende Modelle und Methoden der nächsten Generation, die es den Kunden von Aleph Alpha erleichtern und erschwinglich machen, die Produktivität in Entwicklungs-, Ingenieur-, Logistik- und Fertigungsprozessen zu steigern.

Wir suchen einen enthusiastischen Forscher, der leidenschaftlich daran interessiert ist, grundlegende, multimodale NLP-Modelle zu verbessern und einen PhD-Abschluss in einem dreijährigen Programm anstrebt. Im Durchschnitt verbringen Sie die Hälfte Ihrer Zeit bei Aleph Alpha Research in Heidelberg und die andere Hälfte an der Technischen Universität Darmstadt, die in der Nähe liegt.

Als PhD-Stipendiat bei Aleph Alpha Research entwickeln Sie neue Ansätze zur Verbesserung der Architektur und Anwendungen des grundlegenden Modells. Sie erhalten eine einzigartige Forschungsumgebung mit ausreichenden Rechenressourcen sowie sowohl industrielle als auch akademische Fachbetreuer, um Ihre Forschung durchzuführen und zu veröffentlichen.

Bitte skizzieren Sie Ihr potenzielles PhD-Forschungsthema in Ihrem Bewerbungsschreiben, einschließlich Aspekte wie Ihre Motivation, die zentralen Forschungsfragen, die Sie erkunden möchten, Ihren vorgeschlagenen Ansatz und Ihre Evaluierungsstrategie.

Im Rahmen des Themas LLM-Architektur arbeiten Sie mit unserem Team für grundlegende Modelle, in dem Sie leistungsstarke, hochmoderne, multimodale, grundlegende Modelle erstellen, neuartige Ansätze für das Pre-Training, Fine-Tuning und die Nützlichkeit erforschen und kosteneffiziente Inferenz auf einer Vielzahl von Beschleunigern ermöglichen.

Thema

Einführungsmodelle sind zentral für viele der innovativsten Anwendungen im Deep Learning und nutzen überwiegend selbstüberwachtes Lernen, autoregressive Generierung und Transformer-Architektur. Um diese Einschränkungen zu adressieren und sowohl Genauigkeit als auch Effizienz in der Generierung und bei nachgelagerten Aufgaben zu verbessern, ist es wichtig, Anpassungen an den Kernparadigmen zu berücksichtigen.

Ihre Aufgaben

• Forschung und Entwicklung neuartiger Ansätze und Algorithmen, die das Training, die Inferenz, die Interpretationen oder Anwendungen grundlegender Modelle verbessern.
• Analyse und Benchmarking von state-of-the-art sowie neuen Ansätzen.
• Zusammenarbeit mit Wissenschaftlern und Ingenieuren bei Aleph Alpha und Aleph Alpha Research sowie ausgewählten externen Industrie- und akademischen Partnern.
• Veröffentlichung eigener und gemeinsamer Arbeiten in Fachzeitschriften für maschinelles Lernen und Bereitstellung von Code und Modellen zur Nutzung durch die breitere Forschungscommunity.

Ihr Profil

• Master-Abschluss in Informatik, Mathematik oder ähnlichem.
• Solides Verständnis von DL/ML-Techniken, Algorithmen und Werkzeugen für Training und Inferenz.
• Erfahrung und Kenntnisse in Python und mindestens einem gängigen Deep-Learning-Framework, vorzugsweise PyTorch.
• Bereitschaft, in die Region Heidelberg/Darmstadt, Deutschland, umzuziehen.
• Interesse, die Lücke zwischen der Bewältigung praktischer Herausforderungen der Industrie und dem Beitrag zur akademischen Forschung zu überbrücken.
• Ambition, einen PhD in generativer maschineller Lernforschung in einem dreijährigen Programm zu erwerben.

Was Sie von uns erwarten können

• 30 Tage bezahlter Urlaub.
• ÖPNV-Zuschuss.
• Fitness- und Wellnessangebote.
• Mentale Gesundheitsplattform.
• Flexible Arbeitszeiten und hybrides Arbeitsmodell.