Informazioni sul ruolo
In questo ruolo di collaboratore remoto retribuito a ore, lavorerai come Responsabile dell'assicurazione della qualità legale (QAL) per supervisionare qualità, coerenza e prestazioni dei trainer nei progetti di addestramento AI in ambito legale. Esaminerai contenuti legali generati dall'AI e il lavoro di trainer/QA, valuterai la qualità degli output rispetto alle linee guida del progetto, fornirai feedback scritti precisi e garantirai che tutti i contributori rispettino gli standard di qualità attesi.
Valuterai il lavoro per qualità del ragionamento giuridico, individuazione delle questioni, consapevolezza giurisdizionale, gestione di citazioni e fonti, chiarezza, consapevolezza dei rischi, formattazione, rispetto delle istruzioni e aderenza alle rubriche specifiche del progetto. Individuerai problemi di qualità ricorrenti, comunicherai aggiornamenti a trainer e QA, supporterai l'onboarding, manterrai la documentazione e aiuterai ad attivare i contributori che non lavorano con continuità. Questo ruolo richiede una solida competenza legale, forti capacità di comunicazione in inglese, eccellente attenzione ai dettagli, comunicazione strutturata e la capacità di gestire flussi di lavoro di qualità in team remoti di revisione legale.
Questo ruolo è presso SME Careers, un'azienda in rapida crescita nel settore AI Data Services e controllata di SuperAnnotate, che fornisce dati di addestramento a molte delle maggiori aziende AI e laboratori di modelli di base del mondo. La tua guida sulla qualità legale contribuirà direttamente a migliorare i principali modelli AI del mondo garantendo che i dati di addestramento legali siano accurati, ben argomentati, chiaramente spiegati, adeguatamente prudenti, ben documentati e allineati alle aspettative del cliente.
Il processo di selezione prevede un colloquio con AI, un task specifico del dominio e un colloquio con un recruiter.
Importante: Non c'è un progetto immediato per questo ruolo; tuttavia, se qualificato, sarai tra i primi esperti che contatteremo quando si presenteranno opportunità pertinenti. Questo ti darà anche accesso a futuri progetti disponibili tramite la nostra rete di esperti.
Cosa farai
- Monitoraggio della qualità: eseguire controlli a campione su elementi legali, identificare problemi di qualità, fornire feedback continuo tramite DM e segnalare problemi ricorrenti o critici.
- Revisione legale: valutare spiegazioni legali generate dall'AI, risposte di ricerca legale, analisi contrattuali, interpretazioni di policy, sintesi di casi, indicazioni sulla conformità e flussi di individuazione delle questioni per accuratezza, chiarezza e prudenza adeguata.
- Comunicazione con trainer e QA: aggiornare trainer e QA su Discord riguardo a nuove linee guida sugli elementi, modifiche al progetto, aggiornamenti dei flussi di lavoro, aspettative di qualità e standard specifici della revisione legale.
- Gestione delle domande: rispondere in modo chiaro e tempestivo alle domande di trainer/QA, in particolare su ragionamento giuridico, giurisdizione, citazioni, qualità delle fonti, disclaimer, linguaggio contrattuale, interpretazione della conformità e applicazione delle rubriche.
- Gestione dell'attivazione di trainer/QA: inviare DM ai contributori inattivi o che non lavorano, incoraggiare l'attivazione, monitorare i follow-up e segnalare problemi di disponibilità quando necessario.
- Documentazione: creare e mantenere la documentazione dei progetti legali, inclusi style guide, tracker, FAQ, note sulla qualità, esempi, honeypot, task di calibrazione e materiali di onboarding.
- Onboarding e addestramento: pianificare e condurre call di onboarding/addestramento con trainer e QA per spiegare aspettative del progetto, flussi di lavoro, rubriche, standard di qualità e requisiti di revisione specifici del settore legale.
- Allineamento sulla qualità: garantire che tutti i trainer e i QA applichino coerentemente le linee guida di revisione legale e comprendano gli aggiornamenti man mano che i progetti evolvono.
- Revisione di rischi e sicurezza: segnalare output legali non sicuri, fuorvianti, troppo sicuri di sé o inappropriati dal punto di vista giurisdizionale, soprattutto quando il contenuto potrebbe essere interpretato come consulenza legale personalizzata.
- Miglioramento dei processi: identificare lacune di qualità ricorrenti, proporre miglioramenti dei flussi di lavoro e contribuire a costruire processi QA scalabili per i progetti di addestramento AI in ambito legale.
Cosa cerchiamo
- Laurea triennale, JD, LLB, LLM o titolo equivalente in Giurisprudenza, Studi legali, Studi da paralegale, Compliance, Politiche pubbliche o un campo strettamente correlato.
- Solida padronanza della lingua inglese per seguire le linee guida del progetto, comunicare con i team e fornire feedback chiari sulla revisione legale in inglese.
- 3+ anni di esperienza professionale in pratica legale, ricerca legale, revisione contrattuale, compliance, analisi normativa, lavoro da paralegale, operations legali, scrittura legale, educazione legale o flussi di lavoro correlati.
- Forte comprensione di concetti giuridici fondamentali come ragionamento giuridico, individuazione delle questioni, interpretazione contrattuale, ricerca legale, interpretazione statutaria, analisi dei casi, compliance, valutazione del rischio e standard di scrittura legale.
- Capacità di valutare contenuti legali rispetto a rubriche dettagliate e identificare problemi come conclusioni non supportate, citazioni allucinate, incongruenze giurisdizionali, consulenza legale troppo sicura di sé, avvertenze mancanti, standard legali errati, ragionamento incompleto o spiegazioni poco chiare.
- Familiarità con flussi di lavoro o strumenti legali comuni quali revisione contrattuale, memorie legali, sintesi di casi, indicazioni normative, verifica delle citazioni, banche dati legali, revisione documentale, checklist di conformità o analisi di policy è preferibile.
- Esperienza nella guida o nel supporto di team remoti di trainer, annotatori, revisori, avvocati, paralegali, scrittori legali, ricercatori o QA è fortemente preferita.
- A proprio agio nel lavorare in ambienti remoti in rapida evoluzione utilizzando strumenti come Discord, Google Sheets, Google Docs, tracker, dashboard e sistemi di gestione progetti.
- Fortemente orientato ai dettagli e organizzato, con la capacità di mantenere style guide, FAQ, tracker, materiali di onboarding, honeypot, task di calibrazione e altra documentazione sulla qualità.
- Esperienza con addestramento AI, annotazione dei dati, modelli linguistici di grandi dimensioni, valutazione di prompt/risposte, QA di contenuti legali o valutazione di LLM basata su rubriche è un forte plus.