Informazioni sul ruolo
In questo ruolo di collaboratore remoto retribuito a ore, lavorerai come Responsabile dell'assicurazione qualità in ambito economico (QAL) per supervisionare qualità, coerenza e prestazioni dei trainer in progetti di addestramento AI incentrati sull'economia. Esaminerai contenuti economici generati dall'AI e il lavoro di trainer/QA, valuterai la qualità degli output rispetto alle linee guida del progetto, fornirai feedback scritti precisi e ti assicurerai che tutti i contributori seguano gli standard di qualità previsti.
Valuterai il lavoro per accuratezza economica, ragionamento del modello, assunzioni, interpretazione dei dati, correttezza dei calcoli, interpretazione dei grafici, sfumature di policy, chiarezza, formattazione, rispetto delle istruzioni e aderenza a rubriche specifiche del progetto. Individuerai problemi di qualità ricorrenti, comunicherai aggiornamenti a trainer e QA, supporterai l'onboarding, manterrai la documentazione e aiuterai ad attivare i contributori che non lavorano con costanza. Questo ruolo richiede una solida competenza economica, forti capacità di comunicazione in inglese, eccellente attenzione ai dettagli, comunicazione strutturata e la capacità di gestire flussi di lavoro di qualità attraverso team di esperti remoti.
Questo ruolo è presso SME Careers, un'azienda in rapida crescita nel settore dei servizi di dati per l'AI e controllata di SuperAnnotate, che fornisce dati di addestramento per molte delle più grandi aziende AI e laboratori di modelli fondazionali al mondo. La tua guida sulla qualità in ambito economico contribuirà direttamente a migliorare i principali modelli AI del mondo assicurando che i dati di addestramento economici siano accurati, analiticamente solidi, ben spiegati, consapevoli delle assunzioni e allineati alle aspettative del cliente.
Il processo di selezione prevede un colloquio AI, un compito specifico del dominio e un colloquio con un recruiter.
Importante: Non esiste un progetto immediato per questo ruolo; tuttavia, se qualificato, sarai tra i primi esperti che contatteremo quando si presenteranno opportunità pertinenti. Questo ti darà anche accesso a progetti futuri disponibili attraverso la nostra rete di esperti.
Cosa farai
- Monitoraggio della qualità: controllo a campione di elementi economici, individuazione di problemi di qualità, feedback continuo tramite DM ed escalation di problemi ricorrenti o critici.
- Revisione economica: valutazione di spiegazioni, calcoli, grafici, analisi di policy, interpretazioni dei dati e ragionamento passo dopo passo generati dall'AI per accuratezza e chiarezza.
- Comunicazione con trainer e QA: aggiornamenti a trainer e QA su Discord riguardo a nuove linee guida sugli elementi, modifiche al progetto, aggiornamenti dei flussi di lavoro, aspettative di qualità e standard di revisione specifici dell'economia.
- Gestione delle domande: risposta chiara e tempestiva alle domande di trainer/QA, soprattutto su modelli economici, assunzioni, formule, grafici, affermazioni causali, interpretazione dei dati e interpretazione delle rubriche.
- Gestione dell'attivazione di trainer/QA: messaggi diretti ai contributori inattivi o che non lavorano, incoraggiamento all'attivazione, monitoraggio dei follow-up e segnalazione di problemi di disponibilità quando necessario.
- Documentazione: creazione e mantenimento della documentazione dei progetti economici, inclusi guide di stile, tracker, FAQ, note sulla qualità, esempi, honeypot, compiti di calibrazione e materiali di onboarding.
- Onboarding e addestramento: pianificazione e conduzione di call di onboarding/addestramento con trainer e QA per spiegare aspettative del progetto, flussi di lavoro, rubriche, standard di qualità e requisiti di revisione specifici dell'economia.
- Allineamento sulla qualità: garantire che tutti i trainer e i QA applichino coerentemente le linee guida di revisione economica e comprendano gli aggiornamenti man mano che i progetti evolvono.
- Revisione dei rischi: segnalazione di affermazioni economiche troppo sicure, fuorvianti, politicamente distorte, statisticamente deboli o prive di assunzioni.
- Miglioramento dei processi: individuazione di lacune ricorrenti nella qualità, proposta di miglioramenti ai flussi di lavoro e supporto nella creazione di processi di QA scalabili per progetti di addestramento AI in ambito economico.
Cosa cerchiamo
- Laurea triennale, magistrale o dottorato in Economia, Economia applicata, Econometria, Politiche pubbliche, Finanza, Statistica, Matematica o in un campo quantitativo/scienze sociali strettamente correlato.
- Solida padronanza della lingua inglese per seguire le linee guida del progetto, comunicare con i team e fornire feedback scritti chiari.
- 3+ anni di esperienza in ricerca economica, insegnamento, analisi di policy, consulenza economica, analisi dei dati, econometria, revisione di contenuti o flussi di lavoro analitici correlati.
- Solida comprensione di microeconomia, macroeconomia, strutture di mercato, incentivi, domanda e offerta, elasticità, esternalità, politica monetaria/fiscale, inflazione, disoccupazione, commercio, crescita e ragionamento econometrico di base.
- Capacità di valutare contenuti economici rispetto a rubriche dettagliate e di individuare problemi quali assunzioni errate, ragionamento causale difettoso, formule sbagliate, grafici fuorvianti, affermazioni di policy non supportate, scarsa interpretazione dei dati o conclusioni eccessivamente semplificate.
- Familiarità con strumenti o metodi quali analisi di regressione, inferenza causale, modellizzazione economica, Excel, R, Python, Stata, dataset pubblici, policy brief e scrittura economica accademica è preferibile.
- Esperienza nella guida o nel supporto di team remoti di analisti, ricercatori, revisori, educatori, annotatori o QA è fortemente preferibile.
- A proprio agio in ambienti remoti dinamici utilizzando strumenti quali Discord, Google Sheets, Google Docs, tracker, dashboard e sistemi di gestione progetti.
- Fortemente orientato ai dettagli e organizzato, con la capacità di mantenere guide di stile, FAQ, tracker, materiali di onboarding, compiti di calibrazione e documentazione.
- Esperienza con addestramento AI, annotazione dei dati, valutazione di LLM, QA economico, revisione accademica o revisione basata su rubriche è un forte plus.