Over de functie
Mercor is op zoek naar software engineers die evaluaties bouwen en verfijnen. U zet afgeronde pull requests om in engineeringtaken en gebruikt ons interne evaluatieframework voor meerdere frontier coding agents, waaronder Claude Code, Codex en meer.
We werken samen met een intern onderzoeksteam en hebben toonaangevende benchmarks in de sector ontwikkeld om de prestaties van frontier large language models te vergelijken.
In deze functie:
- Identificeert u repositories met voldoende inhoudelijk werk om uitdagende evaluaties te ondersteunen en selecteert u geschikte afgeronde PR's.
- Onderzoekt u elk probleem, de bijbehorende referentieoplossing en de architectuur, tests en conventies van de repository.
- Schrijft u taakprompts en bouwt u evaluaties met geautomatiseerde tests, shell-commando's en LLM-beoordelingsprompts.
- Valideert u evaluaties aan de hand van referentieoplossingen en bewust gebrekkige implementaties. U vindt ontbrekende controles, onjuiste beoordelingen en criteria die de manier waarop een probleem kan worden opgelost onnodig beperken.
- Voert u evaluaties herhaaldelijk uit met meerdere modellen en harnesses. U onderzoekt of fouten voortkomen uit de oplossing van de agent, de omgeving of de beoordeling, en stelt vast dat taken zinvolle zwakke punten in de prestaties van agents blootleggen.
- Verfijnt u evaluaties door herhaald testen en review. U documenteert bevindingen en beoordelingsbeslissingen en verwerkt feedback.
Wat u nodig heeft:
- Sterke programmeerfundamenten en praktische ervaring met het werken in omvangrijke en complexe codebases. Talen waarvoor wij evals maken zijn onder meer TypeScript/JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++ en Rust
- Het vermogen om onbekende code te begrijpen, subtiel gedrag te onderzoeken en te beoordelen of verschillende implementaties hetzelfde probleem correct oplossen.
- Ervaring met het schrijven van zinvolle tests, waaronder edge cases en regressiedekking.
- Oog voor detail en geduld voor herhaald onderzoek en verfijning.
- Praktische ervaring met AI-codeertools, met het oordeelsvermogen om hun output te controleren en fouten op te sporen.
- Vertrouwen in het gebruik van Git, testrunners en CI-tooling.
- Duidelijke en vloeiende schriftelijke en mondelinge communicatie, met het vermogen om zelfstandig een taak op te pakken en vragen te stellen wanneer vereisten onduidelijk zijn.
Relevante ervaring kan afkomstig zijn uit open-source-, private of enterprise-repositories. Bekendheid met een bepaalde taal of een bepaald ecosysteem is nuttig; het vermogen om de repository te leren kennen en gedegen engineeringbeslissingen te nemen is belangrijker dan de populariteit ervan of uw openbare bijdragegeschiedenis.
We bieden onboarding in het evaluatieframework en doorlopende reviewfeedback. Na de onboarding wordt van u verwacht dat u de taakselectie, evaluatieontwikkeling en iteratie zelfstandig aanpakt, zonder stapsgewijze aansturing.