Informazioni sul ruolo
In questo ruolo di collaboratore remoto retribuito a ore, lavorerai come Responsabile dell'assicurazione qualità matematica (QAL) per supervisionare qualità, coerenza e prestazioni dei trainer nei progetti di addestramento AI in ambito matematico. Esaminerai contenuti matematici generati dall'AI e il lavoro di trainer/QA, valuterai la qualità degli output rispetto alle linee guida del progetto, fornirai feedback scritti precisi e garantirari che tutti i contributori seguano gli standard di qualità attesi.
Valuterai il lavoro per accuratezza matematica, ragionamento logico, correttezza dei calcoli, validità delle dimostrazioni, qualità della notazione, chiarezza, formattazione, rispetto delle istruzioni e aderenza alle rubriche specifiche del progetto. Individuerai problemi di qualità ricorrenti, comunicherai aggiornamenti a trainer e QA, supporterai l'onboarding, manutenerai la documentazione e aiuterai ad attivare i contributori che non lavorano con continuità. Questo ruolo richiede una solida competenza matematica, forti capacità di comunicazione in inglese, eccellente attenzione ai dettagli, comunicazione strutturata e la capacità di gestire flussi di lavoro di qualità in team tecnici remoti.
Questo ruolo è presso SME Careers, un'azienda in rapida crescita nel settore dei servizi di dati per l'AI e controllata di SuperAnnotate, che fornisce dati di addestramento a molte delle maggiori aziende AI e laboratori di modelli fondazionali al mondo. La tua leadership nella qualità matematica contribuirà direttamente a migliorare i principali modelli AI del mondo assicurando che i dati di addestramento matematici siano accurati, logicamente solidi, chiaramente spiegati, ben documentati e allineati alle aspettative del cliente.
Il processo di selezione prevede un colloquio con AI, un compito specifico per il dominio e un colloquio con un recruiter.
Cosa farai
- Monitoraggio della qualità: effettuare controlli a campione sugli elementi matematici, identificare problemi di qualità, fornire feedback continuo tramite messaggi diretti e segnalare problemi ricorrenti o critici.
- Revisione matematica: valutare spiegazioni, dimostrazioni, derivazioni, calcoli, soluzioni di problemi a parole, diagrammi/descrizioni e ragionamenti passo dopo passo generati dall'AI per correttezza e chiarezza.
- Comunicazione con trainer e QA: aggiornare trainer e QA su Discord riguardo a nuove linee guida sugli elementi, modifiche al progetto, aggiornamenti dei flussi di lavoro, aspettative di qualità e standard di revisione specifici per la matematica.
- Gestione delle domande: rispondere in modo chiaro e tempestivo alle domande di trainer/QA, in particolare su validità del ragionamento, notazione, ipotesi, metodi di soluzione, struttura delle dimostrazioni, formattazione e interpretazione delle rubriche.
- Gestione dell'attivazione di trainer/QA: inviare messaggi diretti ai contributori inattivi o che non lavorano, incoraggiare l'attivazione, monitorare i follow-up e segnalare problemi di disponibilità quando necessario.
- Documentazione: creare e mantenere la documentazione dei progetti matematici, incluse guide di stile, tracker, FAQ, note sulla qualità, esempi, honeypots, attività di calibrazione e materiali di onboarding.
- Onboarding e addestramento: pianificare e condurre chiamate di onboarding/addestramento con trainer e QA per spiegare le aspettative del progetto, i flussi di lavoro, le rubriche, gli standard di qualità e i requisiti di revisione specifici per la matematica.
- Allineamento della qualità: assicurare che tutti i trainer e i QA applichino le linee guida matematiche in modo coerente e comprendano gli aggiornamenti man mano che i progetti evolvono.
- Analisi dei pattern di errore: identificare problemi ricorrenti come passaggi di ragionamento saltati, semplificazioni non valide, formule errate, incoerenze nella notazione, errori aritmetici o risposte corrette ma giustificate in modo inadeguato.
- Miglioramento dei processi: identificare lacune di qualità ricorrenti, proporre miglioramenti ai flussi di lavoro e contribuire a costruire processi di QA scalabili per i progetti di addestramento AI in matematica.
Cosa cerchiamo
- Laurea triennale, magistrale o dottorato in Matematica, Matematica applicata, Statistica, Fisica, Ingegneria, Informatica, Didattica della matematica o un campo quantitativo strettamente correlato.
- Solida padronanza della lingua inglese per seguire le linee guida del progetto, comunicare con i team e fornire feedback matematici chiari in inglese.
- 3+ anni di esperienza professionale in matematica, insegnamento, tutoring, ricerca, analisi quantitativa, scrittura tecnica, sviluppo di curriculum, creazione di problemi, progettazione di valutazioni o revisione di contenuti matematici.
- Forte comprensione di argomenti matematici fondamentali come algebra, geometria, trigonometria, calcolo, algebra lineare, matematica discreta, probabilità, statistica, teoria dei numeri, combinatoria, equazioni differenziali e dimostrazioni matematiche.
- Capacità di valutare contenuti matematici rispetto a rubriche dettagliate e identificare problemi come ipotesi errate, ragionamenti difettosi, dimostrazioni non valide, errori di calcolo, problemi di notazione, passaggi mancanti, fatti allucinati o spiegazioni incomplete.
- A proprio agio nel rivedere sia spiegazioni concettuali sia soluzioni passo dopo passo, incluso se ogni passaggio segue logicamente il precedente.
- Familiarità con strumenti o flussi di lavoro matematici come LaTeX, Python, MATLAB, R, WolframAlpha/Mathematica, GeoGebra, Desmos, modellazione con fogli di calcolo o strumenti di calcolo simbolico è preferibile.
- Esperienza nella guida o nel supporto di team remoti di trainer, annotatori, revisori, educatori, scrittori tecnici o QA è fortemente preferibile.
- A proprio agio nel lavorare in ambienti remoti dinamici utilizzando strumenti come Discord, Google Sheets, Google Docs, tracker, dashboard e sistemi di gestione progetti.
- Fortemente orientato ai dettagli e organizzato, con la capacità di mantenere guide di stile, FAQ, tracker, materiali di onboarding, honeypots, attività di calibrazione e altra documentazione sulla qualità.
- Esperienza con addestramento AI, annotazione dei dati, modelli linguistici di grandi dimensioni, valutazione prompt/risposta, QA di contenuti matematici o valutazione di LLM basata su rubriche è un forte plus.
- Padronanza nativa del punjabi