Über die Stelle
Anyone AI rekrutiert erfahrene Machine Learning Engineers für ein spezialisiertes Projekt mit Fokus auf die Prüfung und Bewertung von Machine-Learning-Herausforderungen, die beim Training und bei der Evaluierung von KI-Modellen eingesetzt werden.
Die Arbeit umfasst die Analyse von ML-Experimenten, Datensätzen, Metriken und Pipelines, um festzustellen, ob Herausforderungen technisch fundiert, reproduzierbar, angemessen schwierig sind und tatsächlich starkes Machine-Learning-Denken erfordern.
Woran Sie arbeiten
Sie prüfen ML-Herausforderungen zu folgenden Themen:
- Experimentdesign und Modellauswahl
- Kleine und synthetische Datensätze
- Datenqualität und Vorverarbeitung
- Verteilungsverschiebung und Datenkontamination
- Label-Rauschen und Feature-Leakage
- Modellbewertung und Metrikauswahl
- Hyperparameter-Tuning
- Trainings-/Validierungs-/Test-Methodik
- Reproduzierbarkeit und deterministische Pipelines
- Statistische Signifikanz von Modellverbesserungen
Ein zentraler Teil der Rolle ist die Feststellung, ob eine Herausforderung tatsächlich gutes ML-Denken belohnt, anstatt lediglich durch Brute-Force-Modellauswahl oder umfangreiche Hyperparameter-Suchen lösbar zu sein.
Was wir suchen
- 3+ Jahre praktische Erfahrung im angewandten Machine Learning
- Fundierte Erfahrung mit:
- ML-Experimentdesign
- Modellauswahl
- Hyperparameter-Tuning
- Modellbewertung
- Datenvorverarbeitung und -validierung
- Fundiertes Verständnis von Trainings-, Validierungs- und Test-Splits
- Fähigkeit, Folgendes zu erkennen:
- Datenlecks
- Label-Rauschen
- Verteilungsverschiebung
- Scheinkorrelationen
- Feature-Leakage
- Datenkontamination
- Erfahrung mit der Bewertung, ob Leistungsverbesserungen statistisch bedeutsam sind und nicht auf zufälligen Schwankungen beruhen
- Fundiertes Verständnis von ML-Evaluierungsmetriken und wann welche Metriken angemessen sind
- Erfahrung mit dem Debugging von ML-Workloads in CPU- und GPU-Umgebungen
- Fähigkeit, technische Probleme zu analysieren und klares schriftliches Feedback zu geben
Wünschenswert
- Erfahrung mit der Erstellung oder Teilnahme an Kaggle-, DrivenData- oder ähnlichen ML-Wettbewerben
- Erfahrung mit dem Design von Benchmark-Datensätzen oder ML-Herausforderungen
- Hintergrund in datenzentrierter KI oder Datenqualität
- Erfahrung mit der Generierung und Validierung synthetischer Daten
- Vertrautheit mit statistischen Tests, Konfidenzintervallen und Effektgrößen
- Erfahrung mit ML-Evaluierungspipelines, RLHF oder KI-Modellbewertung
- Erfahrung mit der Entwicklung von ML-Lehrplänen oder technischen Assessments
- Verständnis gängiger ML-Fehlermuster wie:
- Shortcut-Learning
- Scheinkorrelationen
- Goodharts Gesetz
- Simpsons Paradoxon
- Metrik-Gaming
Wofür Sie verantwortlich sind
- Prüfung von ML-Herausforderungen und Feststellung, ob sie gut konzipiert und technisch lösbar sind
- Bewertung, ob Datensätze aussagekräftige und erlernbare Signale enthalten
- Identifizierung unbeabsichtigter Abkürzungen oder Artefakte in synthetischen Datensätzen
- Feststellung, ob Aufgaben eine echte Diagnose des zugrunde liegenden ML-Problems erfordern
- Prüfung von Evaluierungsmetriken und Verbesserungsschwellenwerten
- Erkennung von Metrik-Gaming, Datenlecks und Evaluierungsfehlern
- Verifizierung der Reproduzierbarkeit über die vollständige Pipeline Daten → Modell → Evaluierung
- Beurteilung, ob die Schwierigkeit der Herausforderung angemessen kalibriert ist
- Klare Empfehlungen zur Verbesserung, Neukalibrierung oder Ausschluss problematischer Aufgaben
Engagement
Arbeitsart: Remote Engagement: Teilzeit, projektbasierte Beratung Fokus: Angewandtes Machine Learning, Experimentdesign, Datenqualität und Modellbewertung
Diese Rolle passt hervorragend zu ML-Engineers, die gerne Experimente debuggen, verstehen, warum Modelle erfolgreich sind oder scheitern, Probleme in Datensätzen und Evaluierungspipelines identifizieren und rigorose Machine-Learning-Experimente entwerfen.