Analyste qualité IA (personnalisation) - thaï

À propos de Turing : Basée à San Francisco, en Californie, Turing est le principal accélérateur de recherche au monde pour les laboratoires d’IA de pointe et un partenaire de confiance pour les entreprises internationales qui déploient des systèmes d’IA avancés. Turing accompagne ses clients de deux manières : d’abord, en accélérant la recherche de pointe grâce à des données de haute qualité, à des pipelines d’entraînement avancés, ainsi qu’à des chercheurs en IA de premier plan spécialisés dans le code, le raisonnement, les STEM, le multilinguisme, la multimodalité et les agents ; ensuite, en appliquant cette expertise pour aider les entreprises à faire passer l’IA du stade de preuve de concept à une intelligence propriétaire, grâce à des systèmes qui fonctionnent de manière fiable, produisent un impact mesurable et génèrent des résultats durables sur le compte de résultat (P&L).

Présentation du poste :

En tant qu’analyste qualité IA, vous évaluerez une nouvelle fonctionnalité de personnalisation pour Gemini. Vous mesurerez dans quelle mesure le modèle exploite les informations issues de vos conversations Gemini passées, de Gmail, de Google Search et de votre activité YouTube pour rendre les réponses plus pertinentes et plus utiles. Ce poste exige un mélange unique de créativité et de rigueur analytique. Vous concevrez activement des prompts du point de vue de vos propres expériences personnelles. Vous mettrez ensuite à profit vos compétences analytiques pour évaluer la qualité des réponses personnalisées du modèle, en examinant des dimensions telles que l’ancrage (Grounding), l’intégration (Integration) et l’utilité (Helpfulness).

Qualifications clés

• Maîtrise du thaï : capacité à lire et à écrire en thaï avec un haut degré de compréhension, le thaï étant la langue principale de ce projet.
• Utilisation d’un compte personnel : volonté d’utiliser votre compte Google personnel principal (et non un compte de test) et d’activer les sources de données personnelles afin de garantir une évaluation authentique.
• Flexibilité des horaires : une disponibilité à temps plein dans votre fuseau horaire local est requise. Nous constituons une équipe d’opérations mondiale fonctionnant en continu (24 heures).
• Esprit analytique exceptionnel : capacité démontrée à évaluer des réponses d’IA nuancées et ambiguës, en appréciant spécifiquement la qualité de la personnalisation.
• Ingénierie de prompts créative : expérience de la conception de prompts de départ créatifs et multi-tours, fondés sur un contexte personnel, afin de tester en profondeur les capacités du modèle.
• Solide sens de l’évaluation : compréhension des concepts de personnalisation, y compris la capacité à repérer une personnalisation incorrecte, des inférences médiocres et des rapprochements forcés.
• Souci minutieux du détail : capacité à examiner des réponses de modèles côte à côte (Side-by-Side, SxS) et à repérer des différences subtiles de naturel et de sur-narration (overnarrating).
• Excellente communication écrite : aptitude supérieure à rédiger des justifications claires, concises et structurées pour les classements de modèles, en citant explicitement des numéros de tour précis.
• Feedback : capacité à fournir des retours constructifs et des annotations détaillées.
• Communication : excellentes compétences en communication et en collaboration.
• Autonomie : motivé et capable de travailler de manière autonome à distance.
• Équipement technique : ordinateur de bureau ou portable configuré, avec une bonne connexion Internet.

Description :

• Dans ce poste, vous ferez partie d’une équipe dynamique dédiée à l’évaluation de la qualité des interactions personnalisées avec l’IA. Votre travail au quotidien consistera à :
• Concevoir et exécuter des prompts conversationnels multi-tours (généralement 1-5 tours) qui obligent l’IA à exploiter vos informations et expériences personnelles.
• Évaluer les réponses du modèle au regard de votre intention exprimée dans le prompt de départ, en vérifiant que la personnalisation a été appliquée de manière appropriée.
• Analyser les réponses pour détecter des problèmes d’ancrage (Grounding), en s’assurant que les affirmations vous concernant sont étayées par des preuves et non par des inférences erronées ou des hallucinations.
• Évaluer la qualité de l’intégration (Integration) afin de s’assurer que les données personnelles sont intégrées naturellement à la réponse, sans « sur-narration » (overnarrating) robotique.
• Évaluer rigoureusement et classer deux réponses de modèles côte à côte (SxS) afin de déterminer laquelle est globalement la plus utile, la plus facile à utiliser et la plus agréable.
• Rédiger des justifications claires et défendables pour vos comparaisons, en indiquant explicitement à quel endroit de la conversation des problèmes ou des aspects positifs sont apparus.
• Extraire et vérifier les « Debug Info » du modèle afin de confirmer que les résumés de conversation et les sources de données ont été correctement utilisés.
• Maintenir une hygiène stricte des données en supprimant les conversations d’évaluation afin qu’elles ne polluent pas votre historique de conversations futur.

Formation et expérience

• Licence (BS/BA) ou expérience équivalente dans un domaine pertinent (par ex. politiques, droit, éthique, linguistique, journalisme, informatique ou un domaine analytique connexe).
• Une expérience en annotation de données, en évaluation de la qualité de l’IA, en modération de contenu ou dans un poste connexe est fortement souhaitée.

Détails de l’offre :

• Engagement requis : au moins 4 heures par jour et jusqu’à 40 heures par semaine, avec 4 heures de chevauchement avec le PST.
• Type de collaboration : prestataire indépendant
• Durée de la mission : 3 mois
• Le taux proposé pour ce projet est de $15 par heure.

Processus d’évaluation -

• Les candidats présélectionnés recevront un formulaire d’intérêt pour le poste (Job Interest Form).
• Après l’examen du profil, une évaluation sera transmise ; elle devra être complétée dans un délai de 24 heures.
• Selon les résultats de l’évaluation, les candidats présélectionnés seront contactés pour discuter des exigences préalables à l’intégration.