À propos du poste
À propos de la mission
Mercor constitue un panel d'experts en chimie et en sécurité chimique afin de soumettre des modèles d'IA de pointe à des tests de red teaming. L'objectif est de vérifier si un modèle est capable d'évaluer correctement le potentiel de détournement d'une demande technique — en répondant pleinement aux questions légitimes tout en refusant celles qui sont réellement dangereuses.
Vos missions :
- Rédiger des prompts complexes à un seul tour dans votre domaine, classés selon trois niveaux : bénin, à double usage et adversarial.
- Évaluer les réponses obtenues au regard d'une norme de politique définie, et juger si chacune a été traitée correctement.
- Rédiger la réponse de référence — à quoi ressemble une réponse correcte, et le raisonnement technique qui l'explique.
Ce domaine se situe sur la frontière du double usage plus que la plupart des autres. Les mêmes connaissances issues des dossiers d'expertise qui permettent d'identifier une substance décrivent comment elle a été produite ; la même liste de précurseurs qui étaye une enquête est une liste de courses lue à l'envers. Un modèle qui refuse une question courante d'identification ou d'expertise échoue tout autant que celui qui répond à une question à laquelle il ne devrait pas répondre. C'est parce qu'il faut tracer cette frontière de manière fiable que nous avons besoin de praticiens plutôt que de généralistes.
Profil recherché
Nous recherchons des personnes qui ont réalisé des expertises — identification de substances et de précurseurs, et défense de leurs conclusions dans un rapport ou à la barre. Ce qui compte le plus, c'est de savoir distinguer une question professionnelle courante d'une question qui cherche à obtenir tout autre chose : la même connaissance des précurseurs qui permet d'identifier une voie de synthèse clandestine est cette voie. Vous rédigerez des prompts qui se situent précisément sur cette frontière, puis vous jugerez si le modèle l'a respectée.
Exemples de parcours pertinents (idéalement avec une expérience du red teaming) :
- Expertises sur des substances contrôlées en laboratoire de criminalistique — identification et quantification
- Intervention sur des laboratoires clandestins, identification de précurseurs et chimie des scènes
- Toxicologie médico-légale — expertises post-mortem ou relatives à la performance humaine
- Suivi des tendances en matière de drogues saisies et de précurseurs, ou analyse de renseignement
- Témoignage d'expert et rédaction de rapports sur des expertises chimiques
Ce que ce poste exige au-delà de l'expertise technique
Il s'agit d'un travail qui repose fortement sur la rédaction. Chaque jugement que vous rendez doit s'accompagner d'une justification écrite qu'un non-spécialiste puisse suivre. Une expérience préalable en rédaction technique, en recherche publiée ou en tant que témoin expert est un indicateur fort ; veuillez joindre un échantillon ou un lien. Vous lirez et rédigerez également des textes sur des scénarios de détournement dans votre domaine pendant de longues périodes. Nous informons les experts à l'avance, et vous pouvez faire une pause ou vous retirer à tout moment sans aucune pénalité.
Avant de postuler
Votre travail ici ne comportera aucune information classifiée ou soumise à un contrôle des exportations, ni aucune information couverte par un accord de confidentialité (NDA) ou par une obligation de relecture préalable à la publication, et ne doit pas s'en inspirer. Si de telles obligations s'appliquent à vous, vous pouvez tout de même correspondre au profil ; indiquez-le dans votre candidature et nous adapterons le périmètre de la mission en conséquence.