Informazioni sul ruolo
In questo ruolo di collaboratore remoto retribuito a ore, lavorerai come Data Scientist Quality Assurance Lead (QAL) per supervisionare qualità, coerenza e prestazioni dei trainer nei progetti di addestramento AI in data science. Esaminerai contenuti di data science generati dall'AI e il lavoro di trainer/QA, valuterai la qualità degli output rispetto alle linee guida del progetto, fornirai feedback scritti precisi e ti assicurerai che i contributori rispettino gli standard di qualità previsti.
Valuterai il lavoro per accuratezza statistica, ragionamento sui dati, qualità della selezione dei modelli, correttezza del codice, riproducibilità, interpretazione delle metriche, consapevolezza del contesto di business, chiarezza, formattazione, rispetto delle istruzioni e aderenza a rubriche specifiche del progetto. Individuerai problemi di qualità ricorrenti, comunicherai aggiornamenti a trainer e QA, supporterai l'onboarding, manterrai la documentazione e aiuterai ad attivare i contributori che non lavorano con continuità.
Questo ruolo è presso SME Careers, un'azienda in rapida crescita nel settore AI Data Services e controllata di SuperAnnotate, che fornisce dati di addestramento a molte delle più grandi aziende AI e laboratori di modelli fondazionali al mondo. La tua guida sulla qualità in data science aiuterà a garantire che i dati di addestramento siano analiticamente solidi, riproducibili, spiegati chiaramente e allineati alle aspettative dei clienti.
Il processo di selezione prevede un colloquio AI, un compito specifico del dominio e un colloquio con un recruiter.
Importante: Non c'è un progetto immediato per questo ruolo; tuttavia, se qualificato, sarai tra i primi esperti che contatteremo quando si presenteranno opportunità rilevanti. Questo ti darà anche accesso a progetti futuri disponibili tramite la nostra rete di esperti.
Cosa farai
- Monitoraggio della qualità: controllare a campione elementi di data science, identificare problemi di qualità, fornire feedback tramite DM e segnalare problemi ricorrenti o critici.
- Revisione tecnica: valutare spiegazioni di data science generate dall'AI, snippet Python/R/SQL, workflow di modellazione, interpretazioni statistiche, dashboard, disegni sperimentali e ragionamenti passo dopo passo.
- Comunicazione con trainer e QA: aggiornare trainer/QA su Discord riguardo a modifiche alle linee guida, aggiornamenti dei workflow e aspettative di qualità specifiche della data science.
- Gestione delle domande: rispondere a domande su assunzioni statistiche, metriche, selezione dei modelli, data leakage, validazione, scelte di codifica, riproducibilità e interpretazione delle rubriche.
- Gestione dell'attivazione di trainer/QA: inviare DM ai contributori inattivi, incoraggiare l'attivazione, tracciare i follow-up e segnalare problemi di disponibilità.
- Documentazione: creare e mantenere style guide di data science, tracker, FAQ, esempi, honeypot, attività di calibrazione e materiali di onboarding.
- Onboarding e addestramento: pianificare e condurre call di onboarding/addestramento con i contributori per spiegare aspettative del progetto, workflow, rubriche e standard di revisione in data science.
- Revisione dei rischi: segnalare output di data science fuorvianti, troppo sicuri, statisticamente non validi o non riproducibili.
- Miglioramento dei processi: identificare lacune di qualità ricorrenti e contribuire a costruire processi QA scalabili.
Cosa cerchiamo
- Laurea triennale, magistrale o dottorato in Data Science, Statistica, Informatica, Machine Learning, Matematica, Economia, Ingegneria o un campo quantitativo strettamente correlato.
- Forte padronanza dell'inglese per seguire le linee guida, comunicare con i team e fornire feedback tecnici chiari.
- 3+ anni di esperienza professionale in data science, analytics, machine learning, modellazione statistica, sperimentazione, data engineering, revisione tecnica o formazione in data science.
- Forte comprensione di statistica, probabilità, pulizia dei dati, analisi esplorativa dei dati, feature engineering, apprendimento supervisionato/non supervisionato, valutazione dei modelli, sperimentazione, regressione, classificazione, clustering e metodi di validazione.
- Capacità di valutare contenuti di data science rispetto a rubriche dettagliate e identificare problemi come data leakage, assunzioni errate, metriche non corrette, metodologia debole, codice non riproducibile, librerie/API allucinate o conclusioni fuorvianti.
- Familiarità con strumenti come Python, pandas, NumPy, scikit-learn, SQL, Jupyter, matplotlib, R, Spark, Git, MLflow, notebook, dashboard e piattaforme cloud/dati è preferibile.
- Esperienza nella guida o nel supporto di team remoti di trainer, annotatori, analisti, data scientist, ingegneri, educatori o QA è fortemente preferibile.
- A proprio agio con Discord, Google Sheets, Google Docs, tracker, dashboard, GitHub e sistemi di project management.
- Altamente organizzato e in grado di mantenere style guide, tracker, FAQ, materiali di onboarding, honeypot, attività di calibrazione e documentazione sulla qualità.
- Esperienza con addestramento AI, annotazione dei dati, valutazione LLM, QA in data science o revisione tecnica basata su rubriche è un forte plus.