Informazioni sul ruolo
Siamo alla ricerca di un Ingegnere dei Prompt responsabile del flusso di lavoro tecnico end-to-end per la migrazione dei template verso autorater LLM. Il ruolo richiede l'utilizzo degli strumenti interni del cliente per sfruttare le tecniche di prompt engineering al fine di massimizzare le prestazioni del modello.
Responsabilità:
-
Utilizzare strumenti di Automatic Prompt Generation (APG) per creare prompt di base per cluster complessi di template padre-figlio.
-
Eseguire e supervisionare lo strumento Automated Prompt Optimization (APO), rivedere gli output e segnalare quando l'APO raggiunge deadlock o plateau.
-
Redigere, testare e perfezionare manualmente i prompt per gestire architetture complesse di template, superare gli anti-pattern e gestire i casi limite in cui gli strumenti sono carenti o non funzionanti. Risolvere scenari di casi limite progettando e perfezionando prompt manuali.
-
Monitorare le esecuzioni di shadowbot per garantire che vengano registrati, generati e tracciati disaccordi sufficienti (tra valutazioni umane e LLM).
-
Eseguire le versioni dei prompt rispetto ai dati gold consolidati per misurare continuamente la qualità dell'autorater rispetto alla baseline della folla umana, calcolando metriche di accuratezza come punteggi F1, precisione e richiamo.
-
Redigere le giustificazioni tecniche di prontezza al lancio (Launch Certification Documentation) per la versione finale.
Requisiti:
-
Competenze linguistiche: padronanza nativa dello spagnolo e fluenza in inglese.
-
Sede: residenza obbligatoria in Spagna.
-
Istruzione: Laurea triennale, magistrale o dottorato in Informatica, Data Science, Linguistica Computazionale, Interazione Uomo-Computer (HCI), Scienze Cognitive o un campo analitico correlato.
-
Prompt Engineering ed esperienza AI: almeno 4 anni di esperienza come Ingegnere dei Prompt. Comprovata esperienza nella messa a punto di Large Language Models (LLM) per output strutturati e rigorosi, attività complesse di classificazione e familiarità con chain-of-thought e few-shot learning.
-
Analisi dei dati: forte competenza nell'identificare pattern di errore, analizzare le prestazioni del modello e utilizzare SQL o altri strumenti di analisi dei dati.
-
Agilità tecnica: capacità di apprendere rapidamente e padroneggiare strumenti proprietari con supervisione minima.
-
Comunicazione: eccellenti capacità di comunicazione verbale e scritta.
Competenze opzionali / preferenziali:
-
Familiarità con interfacce LLM di livello enterprise come la Goose API.
-
Esperienza nella valutazione di modelli AI, data science, linguistica computazionale o ingegneria del software.
-
Esperienza pratica con sistemi Automated Prompt Optimization (APO) o flussi di lavoro di ottimizzazione.
-
Competenza linguistica, inclusa la comprensione della semantica e della logica.