Informazioni sul ruolo
In questo ruolo di collaboratore a contratto remoto con compenso orario, lavorerai come Quality Assurance Lead (QAL) Python (incentrato sul ML) per supervisionare qualità, coerenza e prestazioni dei trainer nei progetti di addestramento AI per il machine learning in Python. Esaminerai codice Python generato dall'AI, workflow di ML, spiegazioni dei modelli e il lavoro di trainer/QA; valuterai la qualità degli output rispetto alle linee guida del progetto; fornirai feedback scritti precisi; e ti assicurerai che i contributori rispettino gli standard di qualità attesi.
Valuterai il lavoro per correttezza del codice, metodologia di machine learning, validità statistica, riproducibilità, qualità della valutazione dei modelli, rischi di data leakage, uso dei pacchetti, accuratezza del debugging, leggibilità, manutenibilità, formattazione, aderenza alle istruzioni e conformità alle rubriche specifiche del progetto. Questo ruolo richiede una solida competenza in Python e ML, capacità di comunicazione in inglese, ottima attenzione ai dettagli e la capacità di gestire workflow di qualità in team tecnici remoti.
Questo ruolo è presso SME Careers, un'azienda in rapida crescita nel settore AI Data Services e controllata di SuperAnnotate, che fornisce dati di addestramento a molte delle più grandi aziende di AI e laboratori di modelli fondazionali al mondo. La tua leadership nella qualità ML in Python contribuirà a garantire che i dati di addestramento siano accurati, eseguibili, statisticamente solidi, riproducibili, spiegati chiaramente e allineati alle aspettative dei clienti.
Il processo di selezione prevede un colloquio con AI, un'attività specifica del dominio e un colloquio con un recruiter.
Importante: Non c'è un progetto immediato per questo ruolo; tuttavia, se qualificato, sarai tra i primi esperti che contatteremo quando si presenteranno opportunità pertinenti. Questo ti darà anche accesso a progetti futuri disponibili attraverso la nostra rete di esperti.
Cosa farai
- Monitoraggio della qualità: eseguire controlli a campione sugli elementi ML in Python, individuare problemi di qualità, fornire feedback tramite DM ed escalare problemi ricorrenti o critici.
- Revisione di codice e ML: valutare codice Python generato dall'AI, pipeline ML, fasi di preprocessing dei dati, workflow di addestramento dei modelli, logica di valutazione, risposte di debugging e spiegazioni per correttezza e riproducibilità.
- Comunicazione con trainer e QA: aggiornare i contributori su Discord in merito a modifiche alle linee guida, aggiornamenti dei workflow e standard di revisione specifici per Python/ML.
- Gestione delle domande: rispondere a domande su sintassi Python, uso dei pacchetti, data leakage, validazione dei modelli, metriche, assunzioni statistiche, riproducibilità, notebook e interpretazione delle rubriche.
- Gestione dell'attivazione di trainer/QA: inviare DM ai contributori inattivi, incoraggiare l'attivazione, monitorare i follow-up e segnalare problemi di disponibilità.
- Documentazione: creare e mantenere style guide per ML in Python, tracker, FAQ, esempi, honeypot, attività di calibrazione e materiali di onboarding.
- Onboarding e addestramento: condurre call di onboarding/addestramento per i contributori ML in Python.
- Revisione dei rischi: segnalare raccomandazioni ML in Python fuorvianti, troppo sicure, statisticamente invalide, non riproducibili, non sicure o non pronte per la produzione.
- Miglioramento dei processi: individuare lacune di qualità ricorrenti e costruire processi QA scalabili.
Cosa cerchiamo
- Laurea triennale, magistrale o dottorato in Informatica, Machine Learning, Data Science, Statistica, Matematica, Ingegneria o un campo quantitativo strettamente correlato.
- Solida padronanza dell'inglese per seguire le linee guida, comunicare con i team e fornire feedback tecnici chiari.
- 3+ anni di esperienza professionale nello sviluppo Python, machine learning, data science, ML engineering, valutazione dei modelli, research engineering, revisione tecnica o formazione in ML.
- Solida comprensione dei fondamenti di Python come strutture dati, funzioni, classi, iteratori, comprehension, gestione delle eccezioni, ambienti virtuali, gestione dei pacchetti, testing e debugging.
- Solida comprensione di argomenti ML come apprendimento supervisionato/non supervisionato, feature engineering, split train/test, cross-validation, selezione dei modelli, data leakage, regressione, classificazione, clustering, metriche, bias/varianza, regolarizzazione e riproducibilità.
- Capacità di valutare contenuti ML rispetto a rubriche dettagliate e individuare problemi come metodologia difettosa, metriche errate, data leakage, codice non riproducibile, assunzioni invalide, API allucinate, conclusioni fuorvianti o spiegazioni incomplete.
- Familiarità con NumPy, pandas, scikit-learn, PyTorch, TensorFlow/Keras, XGBoost/LightGBM, Jupyter, matplotlib, seaborn, MLflow, Hugging Face, SQL, GitHub, Docker e CI/CD preferita.
- Esperienza nella guida o nel supporto di team remoti di trainer, annotatori, revisori, ingegneri, data scientist, ricercatori ML, mentor di programmazione o QA fortemente preferita.
- A proprio agio in ambienti remoti in rapida evoluzione utilizzando Discord, Google Sheets, Google Docs, tracker, dashboard, GitHub e sistemi di project management.
- Altamente organizzato e in grado di mantenere style guide, tracker, FAQ, materiali di onboarding, honeypot, attività di calibrazione e documentazione di qualità.
- Esperienza con addestramento AI, annotazione dei dati, valutazione LLM, QA del codice, QA ML o revisione tecnica basata su rubriche è un forte plus.