Analyste qualité IA (Gemini) - chinois

À propos de Turing : Basée à San Francisco, en Californie, Turing est le principal accélérateur de recherche au monde pour les laboratoires d’IA de pointe et un partenaire de confiance pour les entreprises internationales qui déploient des systèmes d’IA avancés. Turing accompagne ses clients de deux manières : d’abord, en accélérant la recherche de pointe grâce à des données de haute qualité, à des pipelines d’entraînement avancés, ainsi qu’à des chercheurs en IA de premier plan spécialisés dans le code, le raisonnement, les STEM, le multilinguisme, la multimodalité et les agents ; ensuite, en appliquant cette expertise pour aider les entreprises à faire passer l’IA du stade de preuve de concept à une intelligence propriétaire, grâce à des systèmes qui fonctionnent de manière fiable, produisent un impact mesurable et génèrent des résultats durables sur le compte de résultat (P&L).

Présentation du poste :

En tant qu’analyste qualité IA, vous évaluerez une nouvelle fonctionnalité de personnalisation pour Gemini. Vous mesurerez dans quelle mesure le modèle exploite les informations issues de vos conversations Gemini passées, de Gmail, de Google Search et de votre activité YouTube pour rendre les réponses plus pertinentes et plus utiles. Ce poste exige un mélange unique de créativité et de rigueur analytique. Vous concevrez activement des prompts du point de vue de vos propres expériences personnelles. Vous mettrez ensuite à profit vos compétences analytiques pour évaluer la qualité des réponses personnalisées du modèle, en examinant des dimensions telles que l’ancrage (Grounding), l’intégration (Integration) et l’utilité (Helpfulness).

Qualifications clés

• Maîtrise du chinois : capacité à lire et à écrire en chinois avec un haut degré de compréhension, le chinois étant la langue principale de ce projet.
• Ingénierie de prompts créative : expérience de la conception de prompts de départ créatifs et multi-tours, fondés sur un contexte personnel, afin de tester en profondeur les capacités du modèle.
• Solide sens de l’évaluation : compréhension des concepts de personnalisation, y compris la capacité à repérer une personnalisation incorrecte, des inférences médiocres et des rapprochements forcés.
• Souci minutieux du détail : capacité à examiner des réponses de modèles côte à côte (Side-by-Side, SxS) et à repérer des différences subtiles de naturel et de sur-narration (overnarrating).
• Excellente communication écrite : aptitude supérieure à rédiger des justifications claires, concises et structurées pour les classements de modèles, en citant explicitement des numéros de tour précis.
• Feedback : capacité à fournir des retours constructifs et des annotations détaillées.

Description :

• Concevoir et exécuter des prompts conversationnels multi-tours (généralement 1-5 tours) qui obligent l’IA à exploiter vos informations et expériences personnelles.
• Analyser les réponses pour détecter des problèmes d’ancrage (Grounding), en s’assurant que les affirmations vous concernant sont étayées par des preuves et non par des inférences erronées ou des hallucinations.
• Évaluer rigoureusement et classer deux réponses de modèles côte à côte (SxS) afin de déterminer laquelle est globalement la plus utile, la plus facile à utiliser et la plus agréable.
• Rédiger des justifications claires et défendables pour vos comparaisons, en indiquant explicitement à quel endroit de la conversation des problèmes ou des aspects positifs sont apparus.
• Extraire et vérifier les « Debug Info » du modèle afin de confirmer que les résumés de conversation et les sources de données ont été correctement utilisés.
• Maintenir une hygiène stricte des données en supprimant les conversations d’évaluation afin qu’elles ne polluent pas votre historique de conversations futur.

Formation et expérience

• Licence (BS/BA) ou expérience équivalente dans un domaine pertinent (par ex. politiques, droit, éthique, linguistique, journalisme, informatique ou un domaine analytique connexe).
• Une expérience en annotation de données, en évaluation de la qualité de l’IA, en modération de contenu ou dans un poste connexe est fortement souhaitée.

Détails de l’offre :

• Engagement : requis : au moins 4 heures par jour et jusqu’à 40 heures par semaine, avec 4 heures de chevauchement avec le PST.
• Type de collaboration : prestataire indépendant
• Durée de la mission : 3 mois
• Le taux proposé pour ce projet est de $15 par heure.

Processus d’évaluation -

• Les candidats présélectionnés recevront un formulaire d’intérêt pour le poste (Job Interest Form).
• Après l’examen du profil, une évaluation sera transmise ; elle devra être complétée dans un délai de 24 heures.
• Selon les résultats de l’évaluation, les candidats présélectionnés seront contactés pour discuter des exigences préalables à l’intégration.