Informazioni sul ruolo
Titolo del ruolo: Analista di intelligence
Tipologia di ruolo: Collaboratore indipendente
Sede: Da remoto
micro1 sta selezionando Analisti di intelligence che contribuiscano a un progetto rivolto al cliente incentrato sulla valutazione e sul progresso delle capacità dell'intelligenza artificiale. In questo ruolo applicherà la Sua competenza per contribuire all'addestramento dei sistemi di IA di nuova generazione. Il Suo lavoro influirà sul modo in cui i modelli apprendono, ragionano e operano, grazie a contributi di alta qualità basati su casi reali. Non è richiesta alcuna esperienza pregressa nell'IA: ciò che conta è la Sua conoscenza del settore.
Ambito delle attività
- Sviluppare e mappare casi analitici su tassonomie definite in più aree di valutazione, garantendo una copertura completa degli scenari di intelligence rilevanti.
- Redigere casi di test complessi progettati per valutare le prestazioni del modello in materia di gestione delle fonti, rigore analitico e sfumata espressione dell'incertezza.
- Valutare e classificare le risposte generate dall'IA sulla base di criteri quali ragionamento, uso delle fonti, riconoscimento dei limiti e utilità pratica.
- Individuare e segnalare i casi in cui il modello rifiuta in modo eccessivo (over-refusal) legittime esplorazioni analitiche, fornendo documentazione e feedback chiari.
- Documentare i casi limite e i disaccordi analitici, a supporto del miglioramento continuo delle metodologie di valutazione.
- Collaborare con i responsabili di progetto per perfezionare le procedure di valutazione delle fonti e di assegnazione dei livelli di confidenza.
- Fornire spunti per contribuire a calibrare gli standard analitici e a migliorare la qualità complessiva dei benchmark dei sistemi di IA.
Qualifiche preferenziali
- Esperienza analitica all-source dimostrata o profonda competenza in una specifica disciplina analitica, idealmente con un background nella comunità dell'intelligence civile.
- Solida padronanza della valutazione delle fonti, della valutazione dei livelli di confidenza e degli standard analitici consolidati.
- Esperienza nell'insegnamento, nel mentoring o nella guida di revisioni analitiche, con un'esperienza consolidata nel promuovere il rigore analitico.
- Eccezionali capacità di comunicazione scritta e verbale, con particolare attenzione a chiarezza e precisione.
- Capacità di individuare e articolare sfumati limiti dei modelli e scenari di over-refusal.
- Familiarità con le tecniche analitiche strutturate e con gli standard di tradecraft dell'intelligence.
- La precedente partecipazione a iniziative di valutazione dell'IA o dei modelli costituisce titolo preferenziale.
Per saperne di più sul nostro lavoro nel settore governativo e della difesa
In micro1 collaboriamo con esperti del settore governativo e della difesa per valutare le prestazioni dei modelli di IA avanzati in attività del mondo reale.
Il nostro benchmark MissionReport valuta i report militari e governativi generati dall'IA, evidenziando l'importanza del giudizio degli esperti, dell'accuratezza e della comprensione operativa.
Per saperne di più: https://www.micro1.ai/benchmark/mission-report