Évaluateurs généralistes de comptes personnels (États-Unis)

À propos de Turing : Basée à San Francisco, en Californie, Turing est le principal accélérateur de recherche au monde pour les laboratoires d’IA de pointe et un partenaire de confiance pour les entreprises du monde entier qui déploient des systèmes d’IA avancés. Turing accompagne ses clients de deux manières : d’une part, en accélérant la recherche de pointe grâce à des données de haute qualité, à des pipelines d’entraînement avancés et à des chercheurs en IA de premier plan spécialisés dans le codage, le raisonnement, les STEM, le multilinguisme, la multimodalité et les agents ; d’autre part, en appliquant cette expertise pour aider les entreprises à faire passer l’IA du stade de preuve de concept à celui d’intelligence propriétaire, avec des systèmes qui fonctionnent de manière fiable, produisent un impact mesurable et génèrent des résultats durables sur le compte de résultat (P&L).

Aperçu du poste :

Nous recherchons des évaluateurs généralistes basés aux États-Unis pour participer aux Gemini Personalization Evals. Dans ce rôle, les évaluateurs réaliseront un travail d’évaluation généraliste à l’aide de prompts personnalisés conçus pour récupérer du contexte et des données dans des applications Google connectées.

Qualifications clés :

• Localisation : doit être actuellement basé aux États-Unis.
• Connectivité des applications : doit être disposé et en mesure de connecter ses applications Google (par ex. Gmail, Google Photos, Google Agenda, Google Drive, etc.) à Gemini pour permettre la récupération de données et l’évaluation de prompts personnalisés.
• Périmètre du rôle : réaliser des tâches de notation et d’évaluation généralistes, en évaluant les performances du modèle, la récupération de contexte et la qualité des réponses dans les applications connectées.
• Activité du compte : utilisation active des applications Google standard de type workspace/grand public, avec suffisamment de données/d’historique personnels pour générer et évaluer des prompts de récupération.
• Esprit d’analyse exceptionnel : capacité à évaluer des réponses d’IA nuancées et à identifier les forces et les faiblesses de la qualité de la personnalisation.
• Sens du détail : solide capacité à examiner les réponses générées par l’IA et à repérer des problèmes ou des incohérences subtils.
• Communication : excellentes compétences de communication écrite pour fournir des retours d’évaluation clairs et structurés.
• Autonomie : motivé et capable de travailler de manière indépendante dans un environnement à distance.
• Configuration technique : ordinateur de bureau ou portable avec une connexion Internet fiable.

Description :

Dans ce rôle, vous ferez partie d’une équipe chargée d’évaluer la qualité des interactions d’IA personnalisées pour des utilisateurs professionnels. Vos responsabilités quotidiennes incluront :

• Évaluer les réponses générées par l’IA à partir de votre historique de messagerie professionnelle et de l’activité de votre compte professionnel.
• Déterminer si les réponses sont pertinentes, exactes, utiles et personnalisées de manière appropriée.
• Identifier les problèmes liés à une personnalisation incorrecte, à des hypothèses non étayées ou à des recommandations non pertinentes.
• Comparer plusieurs réponses de l’IA et déterminer laquelle offre la meilleure expérience utilisateur globale.
• Fournir des retours d’évaluation clairs, détaillés et bien argumentés pour soutenir l’amélioration des modèles.
• Suivre les directives du projet pour garantir des évaluations cohérentes, exactes et de haute qualité.
• Préserver la confidentialité des données et respecter toutes les exigences de confidentialité du projet tout au long du processus d’évaluation.

Formation et expérience

• Licence ou expérience pratique équivalente, dans n’importe quel domaine.
• Une expérience en évaluation d’IA, en annotation de données, en revue de contenus, en assurance qualité ou dans un poste analytique connexe est souhaitée mais non obligatoire.

Détails de l’offre :

• Engagements requis : au moins 4 heures par jour et jusqu’à 40 heures par semaine, avec 4 heures de chevauchement avec le fuseau PST.
• Type de mission : prestataire
• Durée de la mission : jusqu’à 16 semaines

Processus d’évaluation -

• Un formulaire d’intérêt pour le poste sera envoyé aux candidats présélectionnés.
• Les candidats finalement retenus seront contactés pour les prochaines étapes, y compris les exigences de consentement et d’intégration.

Consentement et conformité :

Doit être disposé à accorder les autorisations d’intégration d’applications nécessaires au projet et à remplir tous les formulaires de consentement standard et accords de non-divulgation.