Informazioni sul ruolo
Informazioni sul ruolo
Siamo alla ricerca di un revisore QC attento ai dettagli per garantire la qualità e la coerenza delle annotazioni video di manipolazione robotica prodotte dal nostro team di annotazione. Esaminerai i segmenti video etichettati confrontandoli con una guida di stile dettagliata e con esempi di riferimento, individuerai errori o incoerenze e fornirai feedback chiari e costruttivi agli annotatori. Questo ruolo è fondamentale per mantenere l'accuratezza e l'affidabilità dei dati di addestramento utilizzati per i modelli di intelligenza artificiale per la robotica.
Cosa farai
- Esaminare le annotazioni completate dei video di manipolazione robotica su tre livelli di dettaglio dell'etichettatura (movimento atomico, abilità/sottoattività, attività/obiettivo).
- Verificare in modo incrociato le descrizioni degli annotatori rispetto a tutte e tre le viste delle telecamere (dall'alto ed entrambe le telecamere montate sul polso) per verificare l'accuratezza delle azioni descritte, l'identificazione degli oggetti e i dettagli di contatto/presa.
- Verificare la copertura completa di ogni video — confermare che non ci siano lacune nell'etichettatura, inclusi i momenti di inattività o pausa.
- Controllare che le descrizioni riflettano accuratamente ciò che è realmente accaduto nel video, inclusi fallimenti, cadute o prese scivolate — segnalando qualsiasi caso in cui gli esiti siano stati descritti in modo impreciso o "ammorbiditi".
- Valutare le annotazioni per l'aderenza alla guida di stile: uso corretto del vocabolario, accuratezza spaziale/direzionale, terminologia coerente per oggetti e azioni e variazione linguistica appropriata (evitando frasi ripetitive).
- Identificare errori ricorrenti o schemi di confusione tra gli annotatori e segnalarli al team lead ai fini della calibrazione.
- Fornire feedback specifici e attuabili sulle annotazioni rifiutate o riviste, facendo riferimento alla guida di stile e agli esempi di riferimento.
- Partecipare a sessioni di calibrazione periodiche con il team e il cliente per allineare gli standard QC alle linee guida in evoluzione o alle risoluzioni dei casi limite.
- Mantenere un registro QC o un foglio di monitoraggio che documenti gli esiti delle revisioni, i tipi di errore comuni e le tendenze delle prestazioni degli annotatori (come richiesto dal progetto).
Cosa cerchiamo
Requisiti:
- Eccellente inglese scritto e forte comprensione della lettura — valuterai scelte linguistiche precise e sfumate, non solo la presenza di refusi.
- Eccezionale attenzione ai dettagli — capacità di individuare discrepanze sottili tra il contenuto del video e la descrizione scritta (ad es., un tipo di presa etichettato in modo errato, una parte dell'oggetto errata, un evento di fallimento non rilevato).
- Forte padronanza della descrizione spaziale/meccanica (sinistra/destra, sopra/sotto, parti degli oggetti come maniglie, coperchi, bordi) per verificare l'accuratezza degli annotatori.
- Capacità di applicare in modo coerente una guida di stile dettagliata e strutturata e di prendere decisioni fondate in scenari ambigui o casi limite.
- A proprio agio nel fornire feedback chiari, specifici e costruttivi agli annotatori (feedback scritti, non solo indicazioni di superato/non superato).
- Abitudini di lavoro affidabili e autonome, con la capacità di lavorare in modo indipendente rispettando le aspettative sui tempi di revisione.
Plus graditi:
- Esperienza precedente in un ruolo di QC, editing, correzione di bozze o revisione di annotazioni.
- Esperienza specifica con l'annotazione video, l'etichettatura dei dati o il QA di trascrizioni.
- Familiarità con la terminologia della robotica (pinze, end-effector, manipolazione).
- Esperienza con strumenti di annotazione come Label Studio, inclusi i flussi di lavoro di revisione/approvazione.
#L1-CC1