Über die Stelle
Über Turing
Turing ist eines der weltweit am schnellsten wachsenden KI-Unternehmen und beschleunigt die Weiterentwicklung und den Einsatz leistungsfähiger KI-Systeme. Turing hilft führenden KI-Labs, das logische Schlussfolgern, die Problemlösung und die Entscheidungsfähigkeit großer Sprachmodelle (LLMs) durch hochwertiges menschliches Feedback, Evaluierung und Trainingsdaten zu verbessern.
Rollenübersicht
Wir suchen Expertinnen und Experten für logisches Denken bei Brettspielen, die beim Training und der Evaluierung von KI-Modellen der nächsten Generation helfen. In dieser Rolle setzen Sie Ihre Expertise in Brettspielen, Spielmechaniken, strategischem Denken, Wahrscheinlichkeitsrechnung und komplexen Regelsystemen ein, um hochwertige Datensätze zu erstellen, zu prüfen und zu bewerten, die die Leistung von KI verbessern.
Sie arbeiten an anspruchsvollen Aufgaben rund um Spiellogik, Entscheidungsfindung, strategische Planung, Regelauslegung und Szenarioanalyse und helfen Frontier-KI-Systemen dabei, stärkere Fähigkeiten zum logischen Denken zu entwickeln.
Wie sieht der Arbeitsalltag aus?
- Erstellung und Prüfung spielbasierter Denkaufgaben zur Evaluierung von KI-Systemen.
- Analyse von Brettspielszenarien, strategischen Entscheidungsbäumen und regelbasierten Systemen.
- Bewertung KI-generierter Antworten auf Korrektheit, Konsistenz und Qualität der Argumentation.
- Entwicklung von Prompts, Bewertungsrastern (Rubrics) und Evaluierungsrichtlinien für Brettspiel- und strategiebezogene Aufgaben.
- Identifizierung von logischen Fehlern, Regelverstößen und fehlerhafter Argumentation in KI-Ausgaben.
- Beitrag zur Erstellung von Benchmarks und zu Qualitätssicherungsprozessen für KI-Evaluierungsprojekte.
- Zusammenarbeit mit Projektteams zur Verbesserung der Datensatzqualität und der Evaluierungsmethoden.
Anforderungen
Erforderliche Qualifikationen
- Bachelorabschluss in Informatik, Mathematik, Kognitionswissenschaft, Spieldesign, Philosophie, Wirtschaftswissenschaften oder einem verwandten analytischen Fachgebiet.
- 2+ Jahre professionelle oder semiprofessionelle Erfahrung in Brettspieldesign, Playtesting, Tabletop-Spiel-Communitys oder verwandten strategieorientierten Umfeldern.
- Fundiertes Verständnis von Logik, probabilistischem Denken, Spielmechaniken und komplexen Regelsystemen.
- Hintergrund in Spieltheorie, Verhaltensökonomie, Entscheidungswissenschaft oder formaler Logik.
- Vertrautheit mit modernen Brettspielen, Sammelkartenspielen (TCGs), Tabletop-Rollenspielen, Strategiespielen oder kompetitiven Spielsystemen.
- Ausgeprägte analytische und Problemlösungsfähigkeiten.
- Ausgezeichnete schriftliche Kommunikationsfähigkeiten.
Bevorzugte Qualifikationen
- Frühere Erfahrung in Datenannotation, KI-Training, Prompt Engineering, QA, Spieldesign, Rätseldesign oder der Analyse regelbasierter Systeme.
- Erfahrung in der Erstellung von Bewertungsrastern (Rubrics), Benchmark-Datensätzen oder Qualitätssicherungs-Frameworks.
- Erfahrung mit Python, SQL oder Datenanalyse-Tools.
- Erfahrung in Projekten zu RLHF, Modellevaluierung, Generierung synthetischer Daten oder LLM-Benchmarking.
- Vertrautheit mit kürzlich veröffentlichten Strategie- oder Tabletop-Spielen und die Fähigkeit, neue Regelsysteme schnell zu erlernen.
Vorteile der freiberuflichen Tätigkeit bei Turing
- Arbeit in einem vollständig remote geprägten Umfeld.
- Möglichkeit, an hochmodernen KI-Projekten mit führenden LLM-Unternehmen zu arbeiten.
Angebotsdetails
- Erforderlicher Zeitaufwand: Mindestens 4 Stunden pro Tag und mindestens 20 Stunden pro Woche mit 4 Stunden Überschneidung mit PST.
- Art der Beschäftigung: Auftragnehmer-Einsatz (keine Krankenversicherung/bezahlter Urlaub)
- Vertragsdauer: 2 Monate; [voraussichtlicher Starttermin ist nächste Woche]
Auswahlverfahren
- Take-Home-Assessment