KI-Qualitätsanalyst (Personalisierung) - Deutsch

Über Turing: Turing hat seinen Sitz in San Francisco, Kalifornien, und ist der weltweit führende Forschungsbeschleuniger für Frontier-KI-Labs sowie ein vertrauenswürdiger Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Arten: Erstens beschleunigt Turing die Spitzenforschung mit hochwertigen Daten, fortschrittlichen Trainingspipelines sowie führenden KI-Forschenden, die sich auf Programmierung, logisches Schlussfolgern, MINT, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert haben; zweitens setzt Turing dieses Know-how ein, um Unternehmen dabei zu helfen, KI vom Proof of Concept zu proprietärer Intelligenz weiterzuentwickeln – mit Systemen, die zuverlässig arbeiten, messbare Wirkung erzielen und dauerhafte Ergebnisse in der P&L liefern.

Rollenübersicht:

Als KI-Qualitätsanalyst bzw. -analystin bewerten Sie eine neue Personalisierungsfunktion für Gemini. Sie beurteilen, wie gut das Modell Informationen aus Ihren früheren Gemini-Unterhaltungen sowie aus Ihren Gmail-, Google-Suche- und YouTube-Aktivitäten nutzt, um Antworten relevanter und hilfreicher zu machen. Diese Rolle erfordert eine einzigartige Mischung aus Kreativität und analytischer Strenge. Sie entwerfen aktiv Prompts aus der Perspektive Ihrer eigenen persönlichen Erfahrungen. Anschließend nutzen Sie Ihre analytischen Fähigkeiten, um die Qualität der personalisierten Antworten des Modells zu bewerten und dabei Dimensionen wie Grounding, Integration und Helpfulness zu beurteilen.

Wichtigste Qualifikationen

• Deutschkenntnisse: Fähigkeit, Deutsch zu lesen und zu schreiben, mit einem hohen Maß an Verständnis, da Deutsch die Schwerpunktsprache dieses Projekts ist.
• Nutzung eines persönlichen Kontos: Bereitschaft, Ihr primäres persönliches Google-Konto (kein Testkonto) zu verwenden und persönliche Datenquellen für eine authentische Bewertung zu aktivieren.
• Zeitliche Flexibilität: Vollzeitverfügbarkeit in Ihrer lokalen Zeitzone ist erforderlich. Wir stellen ein globales, 24-Stunden-Operations-Team zusammen.
• Außergewöhnliches analytisches Denken: Nachgewiesene Fähigkeit, nuancierte und mehrdeutige KI-Antworten zu bewerten, insbesondere die Qualität der Personalisierung.
• Kreatives Prompt Engineering: Erfahrung im Entwurf kreativer, mehrstufiger Start-Prompts auf Grundlage des persönlichen Kontexts, um die Fähigkeiten des Modells gründlich zu testen.
• Ausgeprägtes Bewertungsgespür: Verständnis von Personalisierungskonzepten, einschließlich der Fähigkeit, fehlerhafte Personalisierung, schwache Schlussfolgerungen und erzwungene Verknüpfungen zu erkennen.
• Akribische Liebe zum Detail: Die Fähigkeit, Side-by-Side-(SxS-)Modellantworten zu prüfen und feine Unterschiede in Natürlichkeit und Overnarrating zu erkennen.
• Ausgezeichnete schriftliche Kommunikation: Herausragende Fähigkeit, klare, prägnante und strukturierte Begründungen für Modell-Rankings zu verfassen und dabei ausdrücklich auf bestimmte Turn-Nummern zu verweisen.
• Feedback: Fähigkeit, konstruktives Feedback und detaillierte Annotationen zu geben.
• Kommunikation: Ausgezeichnete Kommunikations- und Teamfähigkeit.
• Eigenständigkeit: Selbstmotiviert und in der Lage, in einem Remote-Umfeld selbstständig zu arbeiten.
• Technische Ausstattung: Desktop-PC/Laptop mit guter Internetverbindung.

Beschreibung:

• In dieser Rolle sind Sie Teil eines dynamischen Teams, das sich auf die Bewertung der Qualität personalisierter KI-Interaktionen konzentriert. Ihre tägliche Arbeit umfasst:
• Entwurf und Durchführung mehrstufiger Konversations-Prompts (typischerweise 1-5 Turns), die die KI dazu veranlassen, Ihre persönlichen Informationen und Erfahrungen zu nutzen.
• Bewertung der Modellantworten anhand Ihrer Absicht aus dem Start-Prompt und Prüfung, ob die Personalisierung angemessen angewendet wurde.
• Analyse der Antworten auf Grounding-Probleme, um sicherzustellen, dass Aussagen über Sie durch Belege gestützt werden und nicht auf fehlerhaften Schlussfolgerungen oder Halluzinationen beruhen.
• Beurteilung der Integrationsqualität, um sicherzustellen, dass persönliche Daten ohne robotisches „Overnarrating“ natürlich in die Antwort eingebunden werden.
• Gründliche Bewertung und Rangordnung zweier Modellantworten im Side-by-Side-Vergleich (SxS), um zu bestimmen, welche insgesamt hilfreicher, einfacher zu nutzen und angenehmer ist.
• Verfassen klarer, nachvollziehbarer Begründungen für Ihre Vergleiche, wobei ausdrücklich darauf verwiesen wird, wo im Gespräch Probleme oder positive Aspekte auftraten.
• Extrahieren und Überprüfen von „Debug Info“ aus dem Modell, um zu bestätigen, dass Chat-Zusammenfassungen und Datenquellen ordnungsgemäß verwendet wurden.
• Strikte Datenhygiene durch das Löschen von Evaluierungsunterhaltungen, damit diese Ihren zukünftigen Chatverlauf nicht verunreinigen.

Ausbildung & Erfahrung

• BS-/BA-Abschluss oder gleichwertige Erfahrung in einem einschlägigen Fachgebiet (z. B. Politik, Recht, Ethik, Linguistik, Journalismus, Informatik oder einem verwandten analytischen Fachgebiet).
• Erfahrung in Datenannotation, KI-Qualitätsbewertung, Content-Moderation oder einer verwandten Rolle wird dringend bevorzugt.

Angebotsdetails:

• Erforderlicher Zeitaufwand: mindestens 4 Stunden pro Tag und bis zu 40 Stunden pro Woche mit 4 Stunden Überschneidung mit PST.
• Art der Beschäftigung: Auftragnehmer
• Dauer des Engagements: 3 Monate
• Unser angebotener Satz für dieses Projekt beträgt $15 pro Stunde.

Auswahlverfahren -

• Kandidatinnen und Kandidaten in der engeren Auswahl erhalten ein Job-Interest-Formular.
• Nach der Profilprüfung wird ein Assessment bereitgestellt, das innerhalb von 24 Stunden abgeschlossen werden muss.
• Basierend auf den Assessment-Ergebnissen werden Kandidatinnen und Kandidaten in der engeren Auswahl kontaktiert, um die Pre-Onboarding-Anforderungen zu besprechen.