Responsable de l'assurance qualité en économie (QAL)

Dans ce rôle de contractuel à distance rémunéré à l'heure, vous travaillerez en tant que Responsable de l'assurance qualité en économie (QAL) pour superviser la qualité, la cohérence et la performance des entraîneurs sur des projets d'entraînement de l'IA axés sur l'économie. Vous examinerez le contenu économique généré par l'IA ainsi que le travail des entraîneurs/QA, évaluerez la qualité des résultats par rapport aux directives du projet, fournirez des retours écrits précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail sous l'angle de l'exactitude économique, du raisonnement du modèle, des hypothèses, de l'interprétation des données, de l'exactitude des calculs, de l'interprétation des graphiques, des nuances politiques, de la clarté, du formatage, du respect des instructions et de l'adhésion aux rubriques spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux entraîneurs et aux QA, soutiendrez l'intégration, tiendrez à jour la documentation et aiderez à activer les contributeurs qui ne travaillent pas de manière régulière. Ce rôle exige une solide expertise en économie, de solides compétences de communication en anglais, une excellente attention aux détails, une communication structurée et la capacité de gérer des flux de travail qualité au sein d'équipes d'experts à distance.

Ce rôle est au sein de SME Careers, une entreprise de services de données pour l'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement à nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre leadership en qualité économique contribuera directement à améliorer les meilleurs modèles d'IA au monde en veillant à ce que les données d'entraînement en économie soient exactes, analytiquement solides, bien expliquées, conscientes des hypothèses et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien par IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Important : Il n'y a pas de projet immédiat pour ce rôle ; toutefois, si vous êtes qualifié, vous ferez partie des premiers experts que nous contacterons lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles via notre réseau d'experts.

Ce que vous ferez

• Suivi de la qualité : effectuer des contrôles ponctuels des éléments d'économie, identifier les problèmes de qualité, fournir des retours continus par messages privés et escalader les problèmes récurrents ou critiques.
• Révision en économie : évaluer les explications, calculs, graphiques, analyses de politiques, interprétations de données et raisonnements étape par étape générés par l'IA en économie, sous l'angle de l'exactitude et de la clarté.
• Communication avec les entraîneurs et les QA : informer les entraîneurs et les QA sur Discord des nouvelles directives relatives aux éléments, des changements de projet, des mises à jour des flux de travail, des attentes en matière de qualité et des normes de révision spécifiques à l'économie.
• Gestion des questions : répondre clairement et rapidement aux questions des entraîneurs/QA, notamment sur les modèles économiques, les hypothèses, les formules, les graphiques, les affirmations causales, l'interprétation des données et l'interprétation des rubriques.
• Gestion de l'activation des entraîneurs/QA : envoyer des messages privés aux contributeurs inactifs ou qui ne travaillent pas, encourager l'activation, suivre les relances et signaler les problèmes de disponibilité lorsque nécessaire.
• Documentation : créer et tenir à jour la documentation des projets d'économie, y compris les guides de style, les tableaux de suivi, les FAQ, les notes de qualité, les exemples, les honeypots, les tâches de calibration et les supports d'intégration.
• Intégration et entraînement : planifier et animer des appels d'intégration/d'entraînement avec les entraîneurs et les QA pour expliquer les attentes du projet, les flux de travail, les rubriques, les normes de qualité et les exigences de révision spécifiques à l'économie.
• Alignement qualité : veiller à ce que tous les entraîneurs et QA appliquent de manière cohérente les directives de révision en économie et comprennent les mises à jour au fur et à mesure de l'évolution des projets.
• Revue des risques : signaler les affirmations économiques trop confiantes, trompeuses, politiquement biaisées, statistiquement faibles ou dépourvues d'hypothèses.
• Amélioration des processus : identifier les lacunes de qualité récurrentes, proposer des améliorations des flux de travail et aider à mettre en place des processus QA évolutifs pour les projets d'entraînement de l'IA en économie.

Ce que nous recherchons

• Licence, master ou doctorat en économie, économie appliquée, économétrie, politiques publiques, finance, statistiques, mathématiques ou dans un domaine quantitatif/sciences sociales étroitement lié.
• Maîtrise solide de la langue anglaise pour suivre les directives du projet, communiquer avec les équipes et fournir des retours écrits clairs.
• 3+ années d'expérience en recherche économique, enseignement, analyse de politiques, conseil économique, analyse de données, économétrie, révision de contenu ou flux de travail analytiques connexes.
• Solide compréhension de la microéconomie, de la macroéconomie, des structures de marché, des incitations, de l'offre et de la demande, de l'élasticité, des externalités, des politiques monétaires/budgétaires, de l'inflation, du chômage, du commerce, de la croissance et du raisonnement économétrique de base.
• Capacité à évaluer un contenu économique par rapport à des rubriques détaillées et à identifier des problèmes tels que des hypothèses incorrectes, un raisonnement causal défaillant, des formules erronées, des graphiques trompeurs, des affirmations politiques non étayées, une mauvaise interprétation des données ou des conclusions trop simplifiées.
• Une familiarité avec des outils ou méthodes tels que l'analyse de régression, l'inférence causale, la modélisation économique, Excel, R, Python, Stata, les jeux de données publics, les notes d'orientation politique et la rédaction académique en économie est préférable.
• Une expérience de la direction ou du soutien d'équipes à distance d'analystes, de chercheurs, de réviseurs, d'éducateurs, d'annotateurs ou de QA est fortement préférable.
• À l'aise pour travailler dans des environnements à distance au rythme rapide en utilisant des outils tels que Discord, Google Sheets, Google Docs, des tableaux de suivi, des tableaux de bord et des systèmes de gestion de projet.
• Très soucieux du détail et organisé, avec la capacité de tenir à jour des guides de style, des FAQ, des tableaux de suivi, des supports d'intégration, des tâches de calibration et de la documentation.
• Une expérience de l'entraînement de l'IA, de l'annotation de données, de l'évaluation de LLM, de la QA économique, de la révision académique ou de la révision basée sur des rubriques est un atout majeur.