Informazioni sul ruolo
Informazioni su Turing
Turing è una delle aziende di AI a più rapida crescita al mondo e accelera lo sviluppo e l'implementazione di sistemi di AI potenti. Turing aiuta i principali laboratori di AI a migliorare le capacità di ragionamento, di problem solving e di processo decisionale dei large language model (LLM) attraverso feedback umani, valutazioni e dati di addestramento di alta qualità.
Panoramica del ruolo
Cerchiamo Esperti di ragionamento sui giochi da tavolo che contribuiscano ad addestrare e valutare i modelli di AI di nuova generazione. In questo ruolo metterà a frutto la Sua competenza in giochi da tavolo, meccaniche di gioco, ragionamento strategico, probabilità e sistemi di regole complessi per creare, rivedere e valutare dataset di alta qualità che migliorano le prestazioni dell'AI.
Lavorerà a compiti impegnativi che riguardano logica di gioco, processo decisionale, pianificazione strategica, interpretazione delle regole e analisi di scenari, contribuendo a sviluppare capacità di ragionamento più solide nei sistemi di AI di frontiera.
Com'è una giornata tipo?
- Creare e rivedere compiti di ragionamento basati sui giochi, progettati per valutare i sistemi di AI.
- Analizzare scenari di giochi da tavolo, alberi decisionali strategici e sistemi basati su regole.
- Valutare le risposte generate dall'AI in termini di correttezza, coerenza e qualità del ragionamento.
- Sviluppare prompt, rubric e linee guida di valutazione per compiti incentrati sui giochi da tavolo e sulla strategia.
- Individuare errori logici, violazioni delle regole e ragionamenti errati negli output dell'AI.
- Contribuire alla creazione di benchmark e ai processi di garanzia della qualità per i progetti di valutazione dell'AI.
- Collaborare con i team di progetto per migliorare la qualità dei dataset e le metodologie di valutazione.
Requisiti
Qualifiche richieste
- Laurea triennale in Informatica, Matematica, Scienze cognitive, Game Design, Filosofia, Economia o in un campo analitico affine.
- 2+ anni di esperienza professionale o semi-professionale nella progettazione di giochi da tavolo, nel playtesting, nelle community di giochi da tavolo o in ambienti affini orientati alla strategia.
- Solida comprensione di logica, ragionamento probabilistico, meccaniche di gioco e sistemi di regole complessi.
- Background in teoria dei giochi, economia comportamentale, scienze delle decisioni o logica formale.
- Familiarità con giochi da tavolo moderni, giochi di carte collezionabili (TCG), giochi di ruolo da tavolo, giochi di strategia o sistemi di gioco competitivi.
- Solide capacità analitiche e di problem solving.
- Eccellenti capacità di comunicazione scritta.
Qualifiche preferenziali
- Esperienza pregressa in annotazione dei dati, addestramento dell'AI, prompt engineering, QA, game design, progettazione di puzzle o analisi di sistemi basati su regole.
- Esperienza nella creazione di rubric di valutazione, dataset di benchmark o framework di garanzia della qualità.
- Esperienza con Python, SQL o strumenti di analisi dei dati.
- Esperienza in progetti di RLHF, valutazione di modelli, generazione di dati sintetici o benchmarking di LLM.
- Familiarità con giochi di strategia o da tavolo usciti di recente e capacità di apprendere rapidamente nuovi sistemi di regole.
Vantaggi di lavorare come freelance con Turing
- Lavorare in un ambiente completamente remoto.
- Opportunità di lavorare su progetti di AI all'avanguardia con le principali aziende di LLM.
Dettagli dell'offerta
- Impegno richiesto: almeno 4 ore al giorno e minimo 20 ore a settimana, con 4 ore di sovrapposizione con il fuso PST.
- Tipo di rapporto: Incarico come contractor (senza congedo per malattia né permessi retribuiti)
- Durata del contratto: 2 mesi; [la data di inizio prevista è la prossima settimana]
Processo di valutazione
- Test di valutazione da svolgere a casa