Informazioni sul ruolo
In questo ruolo di collaboratore remoto retribuito a ore, lavorerai come Healthcare Subject Matter Expert (SME) per creare domande sanitarie complesse di livello esperto, valutare contenuti clinici generati dall'IA e progettare rubriche di alta qualità che definiscano cosa debba contenere una risposta accurata, completa e professionalmente appropriata.
Utilizzerai la tua competenza clinica o professionale per individuare ambiti in cui i modelli di IA all'avanguardia possono fornire risposte incomplete, inesatte, scarsamente argomentate, eccessivamente sicure o clinicamente inadeguate. Scriverai domande specialistiche nel tuo campo, svilupperai criteri di valutazione dettagliati, analizzerai criticamente rubriche create da altri professionisti sanitari e fornirai feedback scritti precisi.
Un focus principale di questo ruolo è la progettazione di rubriche e la valutazione esperta. Definirai concetti clinici essenziali, passaggi di ragionamento, avvertenze rilevanti, approcci alternativi accettabili, omissioni significative ed errori critici che distinguono le risposte superficiali da quelle di livello esperto.
Questo ruolo è presso SME Careers, un'azienda in rapida crescita nel settore dei servizi di dati per l'IA e controllata di SuperAnnotate, che fornisce dati di addestramento per molte delle più grandi aziende di IA e laboratori di modelli di base al mondo. La tua competenza sanitaria contribuisce direttamente a migliorare i principali modelli di IA del mondo rendendo le loro risposte più accurate, clinicamente appropriate, rigorose e affidabili.
Cosa farai
- Creare domande sanitarie di livello esperto: sviluppare domande specialistiche in grado di mettere in luce i limiti dei sistemi di IA avanzati.
- Progettare rubriche dettagliate: definire i componenti necessari per una risposta accurata, completa e clinicamente appropriata.
- Individuare criteri critici: distinguere il ragionamento clinico essenziale dalle informazioni supplementari.
- Valutare le risposte dell'IA: valutare gli output dei modelli per accuratezza fattuale, ragionamento, sicurezza, completezza e qualità professionale.
- Individuare errori sottili: rilevare considerazioni mancanti, assunzioni non supportate, certezze inappropriate e omissioni clinicamente importanti.
- Analizzare criticamente le rubriche dei colleghi: individuare ambiguità, ridondanze, aspettative errate, criteri mancanti o una scarsa progettazione della valutazione.
- Sviluppare risposte di riferimento: produrre esempi esperti, spiegazioni, analisi critiche e contenuti di riferimento.
- Supportare l'addestramento dell'IA: generare domande, rubriche, valutazioni, analisi critiche e coppie di risposte di riferimento per flussi di lavoro RL e SFT.
- Mantenere la qualità clinica: garantire che i contenuti riflettano terminologia appropriata, ragionamento professionale e giudizio basato sulle evidenze.
Cosa cerchiamo
- Laurea professionale, abilitazione, credenziale o qualifica riconosciuta in medicina, odontoiatria, farmacia, infermieristica o un'altra disciplina sanitaria.
- Forte competenza professionale in inglese, minimo C1.
- Oltre 3 anni di esperienza professionale o clinica; professionisti di livello senior e specialistico sono fortemente preferiti.
- Comprovata esperienza in una specialità o subspecialità chiaramente definita.
- Capacità di sviluppare domande cliniche o professionali complesse che richiedano una competenza autentica e un giudizio articolato.
- Forte capacità di scrivere rubriche di valutazione dettagliate che definiscano fatti richiesti, passaggi di ragionamento, avvertenze, alternative accettabili ed errori clinici critici.
- Capacità di distinguere tra omissioni minori ed errori che influiscono in modo sostanziale sulla qualità clinica o sulla sicurezza.
- A proprio agio nel rivedere e analizzare criticamente rubriche create da altri professionisti sanitari.
- Capacità di valutare gli output dell'IA per accuratezza, completezza, qualità del ragionamento, sicurezza, calibrazione e rilevanza clinica.
- Esperienza in educazione medica, redazione di esami, valutazione delle competenze, linee guida cliniche, insegnamento, revisione tra pari o garanzia della qualità è fortemente preferita.
- Esperienza pregressa in valutazione dell'IA, RLHF, SFT, annotazione dei dati, benchmarking dei modelli o valutazione basata su rubriche è preferita.
- Affidabile, autonomo e capace di produrre un lavoro scritto coerente.