Informazioni sul ruolo
In questo ruolo di collaboratore a contratto, a ore e da remoto, lavorerai come esperto in materia (SME) STEM e tecnico per creare domande complesse di livello esperto, valutare contenuti tecnici generati dall'IA e progettare rubriche dettagliate che definiscano cosa deve contenere una risposta corretta, rigorosa e di qualità esperta.
Svilupperai problemi nell'ambito della tua area di competenza che mettono alla prova il ragionamento avanzato anziché la semplice memorizzazione di fatti. Individuerai i punti deboli dei modelli di IA all'avanguardia, tra cui assunti errati, ragionamenti incompleti, errori matematici o scientifici, casi limite trascurati e risposte che sembrano plausibili ma non superano l'esame di un esperto.
Un aspetto centrale di questo ruolo è la progettazione e la stesura di rubriche. Tradurrai un giudizio tecnico complesso in criteri di valutazione chiari, specifici e misurabili, tra cui i concetti richiesti, i passaggi di ragionamento, gli approcci alternativi accettabili, gli errori critici e le considerazioni sul credito parziale. Potrai anche esaminare criticamente e migliorare le rubriche sviluppate da altri esperti.
Questo ruolo è presso SME Careers, un'azienda in rapida crescita nel settore dei servizi di dati per l'IA e controllata di SuperAnnotate, che fornisce dati di addestramento a molte delle più grandi aziende di IA e laboratori di modelli di base del mondo. La tua competenza tecnica contribuisce direttamente a migliorare i principali modelli di IA del mondo rendendo il loro ragionamento più accurato, rigoroso e affidabile.
Cosa farai
- Creare domande tecniche di livello esperto: sviluppare domande difficili che mettono alla prova un ragionamento tecnico autentico ed evidenziano i punti deboli dei sistemi di IA avanzati.
- Progettare rubriche di valutazione: scrivere criteri strutturati che definiscano cosa deve contenere una risposta corretta, rigorosa e completa.
- Definire criteri di credito parziale: individuare i passaggi di ragionamento essenziali, le alternative accettabili, gli errori minori e i fallimenti critici.
- Valutare le soluzioni generate dall'IA: valutare gli output per correttezza, qualità del ragionamento, completezza, metodologia e precisione tecnica.
- Individuare errori di ragionamento nascosti: rilevare i casi in cui una risposta giunge alla conclusione corretta utilizzando assunti non validi o una logica difettosa.
- Esaminare criticamente le rubriche dei colleghi: rivedere i criteri di altri esperti per accuratezza tecnica, chiarezza, completezza e coerenza di punteggio.
- Sviluppare contenuti di riferimento: produrre risposte esperte, spiegazioni, valutazioni critiche e altri contenuti di riferimento di qualità ottimale.
- Supportare l'addestramento dell'IA: creare domande, rubriche, valutazioni, giudizi di preferenza e coppie di risposte di riferimento adatte ai flussi di lavoro RL e SFT.
- Mantenere il rigore tecnico: garantire che i contenuti riflettano adeguati standard professionali o accademici nella disciplina pertinente.
Cosa cerchiamo
- Laurea triennale o superiore in Matematica, Fisica, Chimica, Ingegneria, Informatica, Statistica, Scienze applicate o un'altra disciplina tecnica.
- Forte padronanza professionale dell'inglese, minimo C1, con la capacità di scrivere spiegazioni tecniche e criteri di valutazione precisi.
- 3+ anni di esperienza professionale, accademica, di ricerca o industriale nel dominio tecnico dichiarato.
- Comprovata competenza avanzata in un campo o una specializzazione tecnica chiaramente definiti.
- Capacità di creare domande tecniche complesse che richiedono ragionamento a più passaggi, competenza di settore o giudizio professionale.
- Forte capacità di progettare rubriche di valutazione dettagliate che definiscano il ragionamento richiesto, la metodologia corretta, le alternative accettabili, i criteri di credito parziale e gli errori critici.
- Capacità di distinguere tra una risposta finale corretta e una risposta supportata da un ragionamento valido rispetto a uno difettoso.
- A proprio agio nel rivedere ed esaminare criticamente le rubriche di altri esperti per ambiguità, criteri mancanti, ridondanze, imprecisioni tecniche o una cattiva progettazione del punteggio.
- Grande attenzione ai dettagli nel valutare formule, assunti, unità di misura, metodologia, casi limite, coerenza logica e terminologia tecnica.
- È fortemente preferibile esperienza nella stesura di esami, nella valutazione accademica, nella revisione tra pari, nella revisione della ricerca, nel QA tecnico, nello sviluppo di standard o nella progettazione di valutazioni.
- È preferibile esperienza pregressa in valutazione dell'IA, RLHF, SFT, benchmarking, annotazione dei dati, progettazione di prompt o valutazione di LLM.
- Affidabile, autonomo e capace di garantire una qualità costante in un flusso di lavoro a contratto, a ore e da remoto.