Informazioni sul ruolo
Mercor è alla ricerca di ingegneri del software per creare e perfezionare valutazioni. Lei trasformerà pull request completate in attività di ingegneria e utilizzerà il nostro framework di valutazione interno con più agenti di coding all'avanguardia, tra cui Claude Code, Codex e altri.
Lavoriamo a stretto contatto con un team di ricerca interno e abbiamo prodotto benchmark leader di settore per confrontare le prestazioni dei modelli linguistici di grandi dimensioni più avanzati.
In questo ruolo, Lei dovrà:
- Individuare repository con un lavoro sostanziale sufficiente a supportare valutazioni impegnative e selezionare PR completate idonee.
- Analizzare ogni problema, la relativa soluzione di riferimento e l'architettura, i test e le convenzioni del repository.
- Scrivere i prompt delle attività e creare valutazioni utilizzando test automatizzati, comandi shell e prompt di valutazione basati su LLM.
- Convalidare le valutazioni rispetto alle soluzioni di riferimento e a implementazioni volutamente errate. Individuare controlli mancanti, valutazioni scorrette e criteri che limitano inutilmente il modo in cui un problema può essere risolto.
- Eseguire le valutazioni più volte su diversi modelli e harness. Verificare se gli errori derivano dalla soluzione dell'agente, dall'ambiente o dalla valutazione, e accertare che le attività mettano in luce punti deboli significativi nelle prestazioni dell'agente.
- Perfezionare le valutazioni attraverso test e revisioni ripetuti. Documentare i risultati e le decisioni di valutazione e tenere conto dei feedback ricevuti.
Le serviranno:
- Solide basi di programmazione ed esperienza pratica nel lavoro su codebase ampie e complesse. I linguaggi per cui creiamo valutazioni includono TypeScript/JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++ e Rust
- La capacità di comprendere codice non familiare, analizzare comportamenti sottili e valutare se implementazioni diverse risolvono correttamente lo stesso problema.
- Esperienza nella scrittura di test significativi, inclusi casi limite e copertura di regressione.
- Attenzione ai dettagli e pazienza per indagini e perfezionamenti ripetuti.
- Esperienza pratica nell'uso di strumenti di coding basati sull'IA, con il discernimento necessario per verificarne l'output e individuare gli errori.
- Sicurezza nell'uso di Git, test runner e strumenti di CI.
- Comunicazione scritta e orale chiara e fluente, con la capacità di gestire un'attività in autonomia ponendo domande quando i requisiti sono ambigui.
L'esperienza rilevante può derivare da repository open source, privati o aziendali. La familiarità con un particolare linguaggio o ecosistema è utile; la capacità di apprendere il repository e di formulare valutazioni ingegneristiche solide conta più della sua popolarità o dello storico dei Suoi contributi pubblici.
Forniamo l'onboarding sul framework di valutazione e un feedback di revisione continuo. Dopo l'onboarding, Le sarà richiesto di gestire in autonomia la selezione delle attività, lo sviluppo delle valutazioni e l'iterazione, senza indicazioni passo dopo passo.