KI-Qualitätsanalyst (Gemini) - Chinesisch

Über Turing: Turing hat seinen Sitz in San Francisco, Kalifornien, und ist der weltweit führende Forschungsbeschleuniger für Frontier-KI-Labs sowie ein vertrauenswürdiger Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Arten: Erstens beschleunigt Turing die Spitzenforschung mit hochwertigen Daten, fortschrittlichen Trainingspipelines sowie führenden KI-Forschenden, die sich auf Programmierung, logisches Schlussfolgern, MINT, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert haben; zweitens setzt Turing dieses Know-how ein, um Unternehmen dabei zu helfen, KI vom Proof of Concept zu proprietärer Intelligenz weiterzuentwickeln – mit Systemen, die zuverlässig arbeiten, messbare Wirkung erzielen und dauerhafte Ergebnisse in der P&L liefern.

Rollenübersicht:

Als KI-Qualitätsanalyst bzw. -analystin bewerten Sie eine neue Personalisierungsfunktion für Gemini. Sie beurteilen, wie gut das Modell Informationen aus Ihren früheren Gemini-Unterhaltungen sowie aus Ihren Gmail-, Google-Suche- und YouTube-Aktivitäten nutzt, um Antworten relevanter und hilfreicher zu machen. Diese Rolle erfordert eine einzigartige Mischung aus Kreativität und analytischer Strenge. Sie entwerfen aktiv Prompts aus der Perspektive Ihrer eigenen persönlichen Erfahrungen. Anschließend nutzen Sie Ihre analytischen Fähigkeiten, um die Qualität der personalisierten Antworten des Modells zu bewerten und dabei Dimensionen wie Grounding, Integration und Helpfulness zu beurteilen.

Wichtigste Qualifikationen

• Chinesischkenntnisse: Fähigkeit, Chinesisch zu lesen und zu schreiben, mit einem hohen Maß an Verständnis, da Chinesisch die Schwerpunktsprache dieses Projekts ist.
• Kreatives Prompt Engineering: Erfahrung im Entwurf kreativer, mehrstufiger Start-Prompts auf Grundlage des persönlichen Kontexts, um die Fähigkeiten des Modells gründlich zu testen.
• Ausgeprägtes Bewertungsgespür: Verständnis von Personalisierungskonzepten, einschließlich der Fähigkeit, fehlerhafte Personalisierung, schwache Schlussfolgerungen und erzwungene Verknüpfungen zu erkennen.
• Akribische Liebe zum Detail: Die Fähigkeit, Side-by-Side-(SxS-)Modellantworten zu prüfen und feine Unterschiede in Natürlichkeit und Overnarrating zu erkennen.
• Ausgezeichnete schriftliche Kommunikation: Herausragende Fähigkeit, klare, prägnante und strukturierte Begründungen für Modell-Rankings zu verfassen und dabei ausdrücklich auf bestimmte Turn-Nummern zu verweisen.
• Feedback: Fähigkeit, konstruktives Feedback und detaillierte Annotationen zu geben.

Beschreibung:

• Entwurf und Durchführung mehrstufiger Konversations-Prompts (typischerweise 1-5 Turns), die die KI dazu veranlassen, Ihre persönlichen Informationen und Erfahrungen zu nutzen.
• Analyse der Antworten auf Grounding-Probleme, um sicherzustellen, dass Aussagen über Sie durch Belege gestützt werden und nicht auf fehlerhaften Schlussfolgerungen oder Halluzinationen beruhen.
• Gründliche Bewertung und Rangordnung zweier Modellantworten im Side-by-Side-Vergleich (SxS), um zu bestimmen, welche insgesamt hilfreicher, einfacher zu nutzen und angenehmer ist.
• Verfassen klarer, nachvollziehbarer Begründungen für Ihre Vergleiche, wobei ausdrücklich darauf verwiesen wird, wo im Gespräch Probleme oder positive Aspekte auftraten.
• Extrahieren und Überprüfen von „Debug Info“ aus dem Modell, um zu bestätigen, dass Chat-Zusammenfassungen und Datenquellen ordnungsgemäß verwendet wurden.
• Strikte Datenhygiene durch das Löschen von Evaluierungsunterhaltungen, damit diese Ihren zukünftigen Chatverlauf nicht verunreinigen.

Ausbildung & Erfahrung

• BS-/BA-Abschluss oder gleichwertige Erfahrung in einem einschlägigen Fachgebiet (z. B. Politik, Recht, Ethik, Linguistik, Journalismus, Informatik oder einem verwandten analytischen Fachgebiet).
• Erfahrung in Datenannotation, KI-Qualitätsbewertung, Content-Moderation oder einer verwandten Rolle wird dringend bevorzugt.

Angebotsdetails:

• Zeitaufwand : Erforderlich: mindestens 4 Stunden pro Tag und bis zu 40 Stunden pro Woche mit 4 Stunden Überschneidung mit PST.
• Art der Beschäftigung: Auftragnehmer
• Dauer des Engagements: 3 Monate
• Unser angebotener Satz für dieses Projekt beträgt $15 pro Stunde.

Auswahlverfahren -

• Kandidatinnen und Kandidaten in der engeren Auswahl erhalten ein Job-Interest-Formular.
• Nach der Profilprüfung wird ein Assessment bereitgestellt, das innerhalb von 24 Stunden abgeschlossen werden muss.
• Basierend auf den Assessment-Ergebnissen werden Kandidatinnen und Kandidaten in der engeren Auswahl kontaktiert, um die Pre-Onboarding-Anforderungen zu besprechen.