Over de functie
Anyone AI werft ervaren Machine Learning Engineers aan voor een gespecialiseerd project gericht op het beoordelen en evalueren van machine learning-uitdagingen die worden gebruikt bij AI-modeltraining en -evaluatie.
Het werk omvat het analyseren van ML-experimenten, datasets, metrieken en pipelines om te bepalen of uitdagingen technisch solide, reproduceerbaar, gepast moeilijk zijn en daadwerkelijk sterk machine learning-redeneren vereisen.
Waar je aan werkt
Je beoordeelt ML-uitdagingen met betrekking tot:
- Experimentontwerp en modelselectie
- Kleine en synthetische datasets
- Datakwaliteit en voorverwerking
- Distributieverschuiving en datacontaminatie
- Labelruis en feature leakage
- Modelevaluatie en metriekselectie
- Hyperparameterafstemming
- Train-/validatie-/testmethodologie
- Reproduceerbaarheid en deterministische pipelines
- Statistische significantie van modelverbeteringen
Een belangrijk onderdeel van de rol is bepalen of een uitdaging daadwerkelijk goed ML-redeneren beloont, in plaats van eenvoudig oplosbaar te zijn via brute-force modelselectie of uitgebreide hyperparametersearches.
Waar we naar zoeken
- 3+ jaar hands-on toegepaste machine learning-ervaring
- Sterke ervaring met:
- ML-experimentontwerp
- Modelselectie
- Hyperparameterafstemming
- Modelevaluatie
- Datavoorverwerking en -validatie
- Sterk begrip van train-, validatie- en testsplitsingen
- Vermogen om het volgende te identificeren:
- Data leakage
- Labelruis
- Distributieverschuiving
- Schijncorrelaties
- Feature leakage
- Datacontaminatie
- Ervaring met het evalueren of prestatieverbeteringen statistisch betekenisvol zijn in plaats van willekeurige fluctuaties
- Sterk begrip van ML-evaluatiemetrieken en wanneer verschillende metrieken gepast zijn
- Ervaring met het debuggen van ML-workloads in CPU- en GPU-omgevingen
- Vermogen om technische problemen te analyseren en duidelijke schriftelijke feedback te geven
Prettig om te hebben
- Ervaring met het creëren van of deelnemen aan Kaggle-, DrivenData- of vergelijkbare ML-competities
- Ervaring met het ontwerpen van benchmarkdatasets of ML-uitdagingen
- Achtergrond in data-centric AI of datasetkwaliteit
- Ervaring met het genereren en valideren van synthetische data
- Bekendheid met statistisch toetsen, betrouwbaarheidsintervallen en effectgroottes
- Ervaring met ML-evaluatiepipelines, RLHF of AI-modelevaluatie
- Ervaring met het ontwikkelen van ML-curricula of technische assessments
- Begrip van veelvoorkomende ML-faalmodi zoals:
- Shortcut learning
- Schijncorrelaties
- De wet van Goodhart
- De paradox van Simpson
- Metric gaming
Waar je verantwoordelijk voor bent
- ML-uitdagingen beoordelen en bepalen of ze goed ontworpen en technisch oplosbaar zijn
- Evalueren of datasets betekenisvolle en leerbare signalen bevatten
- Onbedoelde shortcuts of artefacten in synthetische datasets identificeren
- Bepalen of taken een echte diagnose van het onderliggende ML-probleem vereisen
- Evalueremetrieken en verbeterdrempels beoordelen
- Metric gaming, data leakage en evaluatiefouten detecteren
- Reproduceerbaarheid verifiëren over de volledige data → model → evaluatie-pipeline
- Beoordelen of de moeilijkheidsgraad van de uitdaging gepast is gekalibreerd
- Duidelijke aanbevelingen geven voor het verbeteren, herkalibreren of uitsluiten van problematische taken
Opdracht
Werktype: Remote Opdracht: Parttime, projectgebonden consultancy Focus: Toegepaste machine learning, experimentontwerp, datakwaliteit en modelevaluatie
Deze rol is een sterke match voor ML-engineers die graag experimenten debuggen, begrijpen waarom modellen slagen of falen, problemen in datasets en evaluatiepipelines identificeren en rigoureuze machine learning-experimenten ontwerpen.