Über die Stelle
Über Turing: Mit Sitz in San Francisco, Kalifornien, ist Turing der weltweit führende Forschungsbeschleuniger für KI-Spitzenlabore und ein vertrauenswürdiger Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Arten: erstens, indem es die Spitzenforschung mit hochwertigen Daten, fortschrittlichen Trainings-Pipelines sowie führenden KI-Forschern beschleunigt, die auf Programmierung, logisches Denken, MINT, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert sind; und zweitens, indem es diese Expertise anwendet, um Unternehmen dabei zu helfen, KI vom Proof of Concept zu proprietärer Intelligenz weiterzuentwickeln – mit Systemen, die zuverlässig arbeiten, messbare Wirkung erzielen und nachhaltige Ergebnisse in der Gewinn- und Verlustrechnung (P&L) bringen.
Überblick über die Rolle:
Wir suchen in den USA ansässige Generalisten-Rater für die Teilnahme an den Gemini Personalization Evals. In dieser Rolle führen Rater allgemeine Evaluierungsarbeiten mit personalisierten Prompts durch, die darauf ausgelegt sind, Kontext und Daten aus verbundenen Google-Apps abzurufen.
Wichtigste Qualifikationen:
- Standort: Muss derzeit in den Vereinigten Staaten ansässig sein.
- App-Anbindung: Muss bereit und in der Lage sein, die eigenen Google-Apps (z. B. Gmail, Google Fotos, Google Kalender, Google Drive usw.) mit Gemini zu verbinden, um den Datenabruf und die Bewertung personalisierter Prompts zu unterstützen.
- Aufgabenbereich: Durchführung allgemeiner Bewertungs- und Evaluierungsaufgaben, bei denen Modellleistung, Kontextabruf und Antwortqualität über verbundene Apps hinweg beurteilt werden.
- Kontoaktivität: Aktive Nutzung gängiger Google-Workspace-/Verbraucher-Apps mit ausreichend persönlichen Daten bzw. ausreichendem Verlauf, um Abruf-Prompts zu erzeugen und zu bewerten.
- Außergewöhnliches analytisches Denken: Fähigkeit, nuancierte KI-Antworten zu bewerten und Stärken und Schwächen in der Qualität der Personalisierung zu erkennen.
- Liebe zum Detail: Ausgeprägte Fähigkeit, KI-generierte Antworten zu prüfen und subtile Probleme oder Inkonsistenzen zu erkennen.
- Kommunikation: Ausgezeichnete schriftliche Kommunikationsfähigkeiten, um klare und strukturierte Evaluierungs-Rückmeldungen zu geben.
- Eigenständigkeit: Selbstmotiviert und in der Lage, in einer Remote-Umgebung eigenständig zu arbeiten.
- Technische Ausstattung: Desktop-Computer oder Laptop mit zuverlässiger Internetverbindung.
Beschreibung:
In dieser Rolle sind Sie Teil eines Teams, das die Qualität personalisierter KI-Interaktionen für Geschäftsnutzer bewertet. Zu Ihren täglichen Aufgaben gehören:
- Bewertung KI-generierter Antworten auf Grundlage Ihres beruflichen E-Mail-Verlaufs und Ihrer geschäftlichen Kontoaktivität.
- Beurteilung, ob Antworten relevant, korrekt, hilfreich und angemessen personalisiert sind.
- Erkennen von Problemen im Zusammenhang mit falscher Personalisierung, unbelegten Annahmen oder irrelevanten Empfehlungen.
- Vergleich mehrerer KI-Antworten und Feststellung, welche das insgesamt bessere Nutzererlebnis bietet.
- Klare, detaillierte und gut begründete Evaluierungs-Rückmeldungen zur Unterstützung von Modellverbesserungen.
- Befolgung der Projektrichtlinien, um konsistente, genaue und hochwertige Evaluierungen sicherzustellen.
- Wahrung des Datenschutzes und Einhaltung aller Vertraulichkeitsanforderungen des Projekts während des gesamten Evaluierungsprozesses.
Ausbildung und Erfahrung
- Bachelorabschluss oder gleichwertige praktische Erfahrung in einem beliebigen Fachgebiet.
- Erfahrung in KI-Evaluierung, Datenannotation, Inhaltsprüfung, Qualitätssicherung oder einer verwandten analytischen Rolle ist bevorzugt, aber nicht erforderlich.
Angebotsdetails:
- Erforderlicher Einsatz: mindestens 4 Stunden pro Tag und bis zu 40 Stunden pro Woche mit 4 Stunden Überschneidung mit PST.
- Art der Tätigkeit: Auftragnehmer
- Dauer des Einsatzes: bis zu 16 Wochen
Auswahlverfahren -
- Kandidatinnen und Kandidaten in der engeren Auswahl erhalten ein Formular zum Stellen-Interesse.
- Die endgültig ausgewählten Kandidatinnen und Kandidaten werden über die nächsten Schritte informiert, einschließlich Einwilligungs- und Onboarding-Anforderungen.
Einwilligung und Compliance:
Sie müssen bereit sein, die für das Projekt erforderlichen Berechtigungen zur App-Integration zu erteilen und alle üblichen Einwilligungserklärungen und Verschwiegenheitsvereinbarungen auszufüllen.