À propos du poste
Vous êtes un expert en QA IA désireux de façonner l'avenir de l'IA ? Les modèles de langage à grande échelle évoluent de chatbots astucieux vers des plateformes de niveau entreprise. Avec des données d'évaluation rigoureuses, l'IA de demain peut démocratiser une éducation de classe mondiale, suivre le rythme de la recherche de pointe et rationaliser les flux de travail des équipes partout dans le monde. Cette qualité commence avec vous—nous avons besoin de votre expertise pour renforcer le raisonnement et la fiabilité des modèles.
Nous recherchons des entraîneurs QA IA qui vivent et respirent l'évaluation de modèles, la sécurité des LLM, la robustesse des prompts, l'assurance qualité des données, les tests multilingues et spécifiques à un domaine, la vérification de l'ancrage factuel et les contrôles de conformité/préparation. Vous mettrez à l'épreuve des modèles de langage avancés sur des tâches telles que la détection d'hallucinations, la cohérence factuelle, la résistance aux injections de prompt et aux jailbreaks, les audits de biais/équité, la fiabilité du chaînage de raisonnement, l'exactitude de l'utilisation d'outils, la fidélité de l'augmentation par récupération et la validation de flux de travail de bout en bout—en documentant chaque mode de défaillance afin que nous puissions élever les standards.
Au quotidien, vous dialoguerez avec le modèle sur des scénarios du monde réel et des prompts d'évaluation, vérifierez l'exactitude factuelle et la solidité logique, concevrez et exécuterez des plans de test et des suites de régression, construirez des grilles d'évaluation claires et des critères de réussite/échec, capturerez des traces d'erreur reproductibles avec des hypothèses de cause racine, et suggérerez des améliorations à l'ingénierie de prompts, aux garde-fous et aux métriques d'évaluation (par exemple, précision/rappel, fidélité, toxicité et SLO de latence). Vous collaborerez également sur le red-teaming adversarial, l'automatisation (Python/SQL) et les tableaux de bord pour suivre les écarts de qualité au fil du temps.
Un bachelor, une maîtrise ou un doctorat en informatique, science des données, linguistique computationnelle, statistiques ou dans un domaine connexe est idéal ; avoir livré des QA pour des systèmes ML/IA, une expérience en sécurité/red-team, des frameworks d'automatisation de tests (par exemple, PyTest) et un travail pratique avec des outils d'évaluation de LLM (par exemple, OpenAI Evals, évaluateurs RAG, W&B) indique une bonne adéquation. Les compétences qui se démarquent incluent : la conception de grilles d'évaluation, les tests adversariaux/red-teaming, les tests de régression à grande échelle, l'audit de biais/équité, la vérification de l'ancrage factuel, l'ingénierie de prompts et de system-prompts, l'automatisation de tests (Python/SQL) et le signalement de bugs à fort signal. Une communication claire et métacognitive—« montrer votre travail »—est essentielle.
Prêt à transformer votre expertise QA en colonne vertébrale qualitative pour l'IA de demain ? Postulez dès aujourd'hui et commencez à entraîner le modèle qui enseignera au monde.
Nous offrons une fourchette de rémunération de 6 $ à 65 $ par heure, le taux exact étant déterminé après évaluation de votre expérience, de votre expertise et de votre situation géographique. Les montants des offres finales peuvent varier par rapport à la fourchette de rémunération indiquée ci-dessus. En tant que contractuel, vous fournirez un ordinateur sécurisé et un internet haut débit ; les avantages parrainés par l'entreprise tels que l'assurance santé et les congés payés ne s'appliquent pas.
Type d'emploi : Contrat Type de lieu de travail : À distance Niveau de séniorité : Niveau intermédiaire à senior