Informazioni sul ruolo
Titolo del ruolo: AI Trainer senior
Tipologia di ruolo: Collaboratore indipendente, da remoto
Sede: Nord America e Germania.
micro1 sta selezionando AI Trainer senior per collaborare a un progetto guidato da un cliente volto a migliorare la qualità dei sistemi di IA attraverso l'addestramento e la valutazione di modelli di livello esperto. In questo ruolo applicherà la Sua competenza generalista e la Sua esperienza pratica con i prodotti di IA per contribuire all'addestramento dei sistemi di IA di nuova generazione. Il Suo lavoro influirà sul modo in cui i modelli apprendono, ragionano e operano, grazie a contributi di alta qualità basati su casi reali.
Responsabilità principali:
- Valutare le prestazioni degli strumenti di chat e ricerca basati su IA in condizioni standardizzate e ripetibili.
- Applicare linee guida di valutazione dettagliate per valutare, classificare e annotare con accuratezza le risposte dei modelli, fornendo feedback strutturato che migliori le prestazioni del modello.
- Scrivere, perfezionare e sottoporre a stress test prompt che mettano alla prova le capacità del modello, garantendo la copertura di scenari diversi, casi limite e intenti degli utenti.
- Verificare la coerenza e l'accuratezza tra le valutazioni, correggendo le discrepanze tra i punteggi e la rubrica o le linee guida di riferimento.
- Utilizzare strumenti e piattaforme di addestramento dell'IA per registrare i risultati e consegnare dataset di valutazione in linea con gli standard e le milestone del progetto.
- Collaborare con i formatori e i collaboratori del progetto per risolvere le ambiguità, perfezionare le linee guida e garantire la coerenza della valutazione in tutto il team.
- Partecipare a revisioni di qualità continue, recependo il feedback per mantenere standard rigorosi di addestramento e annotazione.
Competenze e qualifiche richieste:
- Eccezionale attenzione ai dettagli e all'accuratezza nella revisione e valutazione dei contenuti generati dall'IA.
- Solide capacità di comunicazione scritta e verbale per una collaborazione efficace, la reportistica e aggiornamenti tempestivi su avanzamento e sfide.
- Capacità dimostrate di gestione del tempo e di autorganizzazione per la partecipazione autonoma e da remoto al progetto.
- Mentalità analitica e orientata alla risoluzione dei problemi, con un approccio proattivo nell'affrontare le sfide della valutazione.
Qualifiche preferenziali:
- Esperienza comprovata nell'addestramento di modelli di IA, nell'RLHF, nell'etichettatura dei dati o in progetti di valutazione analoghi incentrati sui dati.
- Familiarità con prodotti e strumenti di IA, compresi il prompt engineering e la comprensione dei comportamenti e dei limiti dei modelli.
- Esperienza nella scrittura di rubriche di valutazione, nella classificazione degli output dei modelli o nella revisione di risposte dell'IA per accuratezza, utilità e sicurezza.
- Background nell'addestramento dell'IA, nella preparazione dei dati per il machine learning o in progetti incentrati sugli LLM (fortemente preferibile).