Informazioni sul ruolo
Sei un esperto di QA per AI desideroso di plasmare il futuro dell'AI? I modelli linguistici su larga scala stanno evolvendo da abili chatbot a piattaforme di livello enterprise. Con dati di valutazione rigorosi, l'AI di domani potrà democratizzare un'istruzione di livello mondiale, tenere il passo con la ricerca all'avanguardia e snellire i flussi di lavoro per i team di tutto il mondo. Quella qualità inizia da te: abbiamo bisogno della tua competenza per rendere più solidi il ragionamento e l'affidabilità dei modelli.
Cerchiamo addestratori QA per AI che vivano e respirino la valutazione dei modelli, la sicurezza degli LLM, la robustezza dei prompt, la garanzia della qualità dei dati, i test multilingue e specifici per dominio, la verifica del grounding e i controlli di conformità/pronotezza. Metterai alla prova modelli linguistici avanzati su attività come il rilevamento delle allucinazioni, la coerenza fattuale, la resistenza al prompt injection e al jailbreak, gli audit di bias/equità, l'affidabilità della catena di ragionamento, la correttezza dell'uso degli strumenti, la fedeltà del retrieval-augmentation e la validazione end-to-end dei flussi di lavoro, documentando ogni modalità di errore così da poter alzare l'asticella.
In una giornata tipica, converserai con il modello su scenari del mondo reale e prompt di valutazione, verificherai l'accuratezza fattuale e la solidità logica, progetterai ed eseguirai piani di test e suite di regressione, costruirai rubriche chiare e criteri di superamento/fallimento, catturerai tracce di errore riproducibili con ipotesi di causa radice e suggerirai miglioramenti al prompt engineering, ai guardrail e alle metriche di valutazione (ad es., precisione/recall, fedeltà, tossicità e SLO di latenza). Collaborerai anche al red-teaming avversariale, all'automazione (Python/SQL) e alla creazione di dashboard per monitorare i delta di qualità nel tempo.
Una laurea triennale, magistrale o un dottorato in informatica, data science, linguistica computazionale, statistica o un campo correlato è l'ideale; aver rilasciato attività di QA per sistemi ML/AI, esperienza in sicurezza/red-team, framework di automazione dei test (ad es., PyTest) e lavoro pratico con strumenti di valutazione degli LLM (ad es., OpenAI Evals, valutatori RAG, W&B) indicano idoneità. Le competenze che si distinguono includono: progettazione di rubriche di valutazione, test avversariali/red-teaming, test di regressione su larga scala, audit di bias/equità, verifica del grounding, prompt engineering e system-prompt engineering, automazione dei test (Python/SQL) e segnalazione di bug ad alto segnale. Una comunicazione chiara e metacognitiva, ovvero “mostrare il proprio lavoro”, è essenziale.
Pronto a trasformare la tua competenza nel QA nella spina dorsale della qualità per l'AI di domani? Candidati oggi e inizia ad addestrare il modello che addestrerà il mondo.
Offriamo una retribuzione compresa tra $6 e $65 all'ora, con la tariffa esatta determinata dopo la valutazione della tua esperienza, competenza e posizione geografica. Gli importi finali dell'offerta possono variare rispetto all'intervallo retributivo sopra indicato. In qualità di collaboratore, dovrai fornire un computer sicuro e una connessione internet ad alta velocità; i benefit offerti dall'azienda, come l'assicurazione sanitaria e le ferie retribuite, non si applicano.
Tipo di impiego: Contratto Tipo di sede di lavoro: Da remoto Livello di seniority: Livello intermedio-senior