Informazioni sul ruolo
Anyone AI seleziona Ingegneri Machine Learning esperti per un progetto specializzato incentrato sulla revisione e la valutazione di sfide di machine learning utilizzate nell'addestramento e nella valutazione dei modelli di AI.
Il lavoro consiste nell'analizzare esperimenti ML, dataset, metriche e pipeline per determinare se le sfide sono tecnicamente solide, riproducibili, adeguatamente difficili e richiedono realmente un forte ragionamento di machine learning.
Su cosa lavorerai
Esaminerai sfide ML che riguardano:
- Progettazione di esperimenti e selezione dei modelli
- Dataset piccoli e sintetici
- Qualità dei dati e preprocessing
- Distribution shift e contaminazione dei dati
- Rumore nelle etichette e leakage delle feature
- Valutazione dei modelli e selezione delle metriche
- Ottimizzazione degli iperparametri
- Metodologia train / validation / test
- Riproducibilità e pipeline deterministiche
- Significatività statistica dei miglioramenti dei modelli
Una parte chiave del ruolo consiste nel determinare se una sfida premia realmente un buon ragionamento ML, anziché essere semplicemente risolvibile tramite una selezione esaustiva dei modelli o ampie ricerche di iperparametri.
Cosa cerchiamo
- 3+ anni di esperienza pratica applicata nel machine learning
- Solida esperienza con:
- Progettazione di esperimenti ML
- Selezione dei modelli
- Ottimizzazione degli iperparametri
- Valutazione dei modelli
- Preprocessing e validazione dei dati
- Solida comprensione delle suddivisioni train, validation e test
- Capacità di identificare:
- Data leakage
- Rumore nelle etichette
- Distribution shift
- Correlazioni spurie
- Leakage delle feature
- Contaminazione dei dati
- Esperienza nel valutare se i miglioramenti delle prestazioni sono statisticamente significativi anziché fluttuazioni casuali
- Solida comprensione delle metriche di valutazione ML e di quando le diverse metriche sono appropriate
- Esperienza nel debug di carichi di lavoro ML in ambienti CPU e GPU
- Capacità di analizzare problemi tecnici e fornire feedback scritto chiaro
Plus graditi
- Esperienza nella creazione o partecipazione a Kaggle, DrivenData o competizioni ML simili
- Esperienza nella progettazione di dataset di benchmark o sfide ML
- Background in AI data-centric o qualità dei dataset
- Esperienza con generazione e validazione di dati sintetici
- Familiarità con test statistici, intervalli di confidenza e dimensioni dell'effetto
- Esperienza con pipeline di valutazione ML, RLHF o valutazione di modelli di AI
- Esperienza nello sviluppo di curricula ML o valutazioni tecniche
- Comprensione delle comuni modalità di fallimento ML come:
- Shortcut learning
- Correlazioni spurie
- Legge di Goodhart
- Paradosso di Simpson
- Metric gaming
Di cosa sarai responsabile
- Esaminare sfide ML e determinare se sono ben progettate e tecnicamente risolvibili
- Valutare se i dataset contengono segnali significativi e apprendibili
- Identificare scorciatoie o artefatti non intenzionali nei dataset sintetici
- Determinare se le attività richiedono una diagnosi autentica del problema ML sottostante
- Esaminare le metriche di valutazione e le soglie di miglioramento
- Rilevare metric gaming, data leakage e difetti di valutazione
- Verificare la riproducibilità lungo l'intera pipeline dati → modello → valutazione
- Valutare se la difficoltà della sfida è adeguatamente calibrata
- Fornire raccomandazioni chiare per migliorare, ricalibrare o escludere attività problematiche
Modalità di collaborazione
Tipo di lavoro: Da remoto Modalità: Consulenza part-time, basata su progetto Focus: Machine learning applicato, progettazione di esperimenti, qualità dei dati e valutazione dei modelli
Questo ruolo è particolarmente adatto a ingegneri ML a cui piace fare debug degli esperimenti, capire perché i modelli riescono o falliscono, identificare problemi nei dataset e nelle pipeline di valutazione e progettare esperimenti di machine learning rigorosi.