Über die Stelle
Wir suchen erfahrene Machine-Learning-Forschende mit praktischer Erfahrung im durchgängigen Training und in der Verbesserung von Deep-Learning-Modellen, sowohl im Bild- als auch im Sprachbereich. Sie arbeiten an klar abgegrenzten, empirischen, offenen ML-Forschungsproblemen.
Aufgaben
- Bildklassifikatoren und generative Bildmodelle von Grund auf trainieren sowie Open-Weight-Sprachmodelle feinabstimmen.
- Das Maximum aus begrenzten Daten-, Rechen- und Modellgrößenbudgets herausholen.
- Modelle robust machen – gegenüber adversarialen Eingaben und adversarialen Konversationen.
- Modelle komprimieren, um strikte Größen- und Latenzvorgaben einzuhalten, ohne Genauigkeit zu opfern.
- Trainingsprobleme diagnostizieren und beheben.
Anforderungen
Wir suchen Kandidatinnen und Kandidaten mit ausgeprägter Expertise in einem oder mehreren der folgenden Bereiche:
Adversarial Robustness
Erfahrung mit:
- Adversarialem Training von Bildklassifikatoren (z. B. PGD-basiertes Training, TRADES).
- Bewertung der robusten Genauigkeit unter Standard-Bedrohungsmodellen (z. B. L∞-Angriffe, AutoAttack) und Vermeidung von Gradient-Masking-Fallstricken.
- Umgang mit dem Zielkonflikt zwischen Robustheit und Genauigkeit sowie mit robustem Overfitting.
Effiziente Computer Vision
Erfahrung mit:
- Durchgängigem Training von Bildklassifikatoren, insbesondere für feinkörnige Erkennung (viele visuell ähnliche Klassen, wenige Beispiele pro Klasse).
- Modellkompression: Quantisierung, Pruning und Knowledge Distillation von großen Teacher-Modellen in kleine Student-Modelle.
- Einsatz von Modellen unter strikten Größen- oder Latenzbudgets (On-Device-, Edge- oder Embedded-Umgebungen).
Generative Bildmodellierung
Erfahrung mit:
- Training generativer Bildmodelle von Grund auf: Diffusionsmodelle, GANs, VAEs oder Flow-basierte Modelle.
- Iteration anhand von Metriken zur Samplequalität wie FID.
- Tricks zur Trainingseffizienz, mit denen sich schnell und mit kleiner Parameterzahl gute Generatoren erzeugen lassen.
LLM-Post-Training und Verhaltensrobustheit
Praktische Erfahrung in einem oder mehreren der folgenden Bereiche:
- Supervised Fine-Tuning und Präferenzoptimierung (DPO, RLHF, RLAIF) von Open-Weight-Sprachmodellen, einschließlich des Aufbaus eigener Datensätze durch synthetische Generierung, verrauschte oder schwache Supervision und Rejection Sampling.
- Gestaltung des Gesprächsverhaltens über mehrere Gesprächsrunden: Widerstand gegen Überredung und Sycophancy, kalibriertes Konfidenzniveau und das Wissen, wann Korrekturen zu akzeptieren sind.
- Alignment-artiges Fine-Tuning, das ein bestimmtes Verhalten ändert und dabei die allgemeine Leistungsfähigkeit erhält.
Mehrsprachiges Pre-Training
Erfahrung mit:
- Training mehrsprachiger oder ressourcenarmer Sprachmodelle von Grund auf.
- Tokenizer-Design für verschiedene Schriftsysteme und typologisch unterschiedliche Sprachen.
- Ausbalancieren stark ungleicher Datenmengen pro Sprache (Sampling-Temperaturen, sprachübergreifender Transfer) in datenbeschränkten Szenarien.
Weitere Interessengebiete
Erfahrung in einem der folgenden Bereiche ist von Vorteil:
- Scaling Laws und Forschung zur Trainingseffizienz.
- Curriculum Learning und Datenreihenfolge.
- Modellevaluierung: Benchmark-Konstruktion, Kontaminationskontrolle, statistisch fundierte Vergleiche.
- Unsicherheitsschätzung und Modellkalibrierung.
- Data Augmentation und synthetische Daten für Robustheit.
Allgemeine Qualifikationen
- 3+ Jahre Erfahrung in der Machine-Learning-Forschung (Forschung im Rahmen einer Promotion zählt dazu).
- Fundierte Erfahrung mit PyTorch, JAX, TensorFlow oder ähnlichen ML-Frameworks.
- Abschluss an einer Universität unter den Top 100, Erfahrung bei einem FAANG- oder vergleichbaren KI-Unternehmen oder ein gleichwertiger Forschungsnachweis durch Publikationen oder wirkungsvolle Open-Source-Beiträge.
Warum mitmachen
- An modernster Machine-Learning-Forschung arbeiten.
- Mit führenden KI-Forschenden an anspruchsvollen, wirkungsvollen Projekten zusammenarbeiten.
- Flexible, projektbasierte Arbeit mit wettbewerbsfähiger Vergütung.