Über die Stelle
Über Turing
Turing ist eines der weltweit am schnellsten wachsenden KI-Unternehmen und beschleunigt die Weiterentwicklung und den Einsatz leistungsfähiger KI-Systeme. Turing hilft führenden KI-Labs, das logische Schlussfolgern, die Problemlösung und die Entscheidungsfähigkeit großer Sprachmodelle (LLMs) durch hochwertiges menschliches Feedback, Evaluierung und Trainingsdaten zu verbessern.
Rollenübersicht
Wir suchen erfahrene Software Engineers, die dabei helfen, die Coding-Fähigkeiten von Frontier-KI-Modellen zu bewerten, zu benchmarken und zu verbessern. In dieser Rolle beurteilen Sie KI-generierten Code, validieren Lösungen anhand realer Softwareentwicklungsaufgaben, identifizieren Probleme bei Korrektheit und Qualität und tragen zur Entwicklung hochwertiger Evaluierungsdatensätze und Benchmarks bei.
Diese Position eignet sich ideal für Engineers, die Freude an Code-Reviews, Debugging und Problemlösung haben und fundiertes softwaretechnisches Urteilsvermögen auf komplexe technische Szenarien anwenden. Ihre Arbeit trägt direkt dazu bei, die Leistung fortschrittlicher KI-Coding-Systeme zu messen und zu verbessern.
Wie sieht der Arbeitsalltag aus?
- Prüfung und Bewertung von KI-generiertem Code hinsichtlich Korrektheit, Effizienz, Wartbarkeit und Einhaltung der Anforderungen.
- Analyse von Softwareentwicklungsaufgaben und Validierung, ob vorgeschlagene Lösungen die erwarteten Ergebnisse erfüllen.
- Debugging von Code, Reproduktion von Problemen und Verifizierung von Fixes in verschiedenen Programmierumgebungen.
- Beurteilung von modellgenerierten Erklärungen, Argumentationen und Implementierungsansätzen auf technische Richtigkeit.
- Erstellung, Verfeinerung und Pflege von Evaluierungsdatensätzen, Benchmarks und Bewertungsrastern für Coding-Aufgaben.
- Identifizierung von Sonderfällen, Fehlermodi und Bereichen, in denen KI-Systeme mit Softwareentwicklungsproblemen Schwierigkeiten haben.
- Klare Dokumentation der Ergebnisse und strukturiertes Feedback zur Verbesserung von Qualität und Konsistenz der Evaluierung.
- Zusammenarbeit mit Projektteams zur Festlegung von Qualitätsstandards und Evaluierungsmethoden.
Anforderungen
- Bachelor- oder Masterabschluss in Informatik, Softwareentwicklung oder einem verwandten technischen Fachgebiet.
- 3+ Jahre professionelle Erfahrung in der Softwareentwicklung.
- Fundierte Kenntnisse in einer oder mehreren der folgenden Sprachen: Python, Java, C/C++, Go, Swift, Objective-C, PHP oder SQL.
- Fundiertes Verständnis von Datenstrukturen, Algorithmen, Prinzipien des Software-Designs und Debugging-Methoden.
- Erfahrung in der Durchführung von Code-Reviews und der Bewertung der Codequalität in Produktions- oder großen Codebasen.
- Fähigkeit, komplexe technische Probleme zu analysieren und die Korrektheit von Lösungen mit minimaler Anleitung zu beurteilen.
- Vertrautheit mit Versionskontrollsystemen (z. B. Git) und modernen Softwareentwicklungs-Workflows.
- Ausgeprägte schriftliche Kommunikationsfähigkeiten und Liebe zum Detail.
- Erfahrung mit KI-/ML-Datenannotation, NLP, Prompt Engineering, Modellevaluierung oder LLM-bezogenen Projekten ist von Vorteil.
- Erfahrung in der Bewertung von KI-generiertem Code, der Erstellung von Benchmarks oder der Beurteilung von Softwarequalität wird dringend bevorzugt.
Vorteile der freiberuflichen Tätigkeit bei Turing
- Arbeit in einem vollständig remote geprägten Umfeld.
- Möglichkeit, an hochmodernen KI-Projekten mit führenden LLM-Unternehmen zu arbeiten.
Angebotsdetails
- Erforderlicher Zeitaufwand: Mindestens 4 Stunden pro Tag und mindestens 20 Stunden pro Woche mit 4 Stunden Überschneidung mit PST.
- Art der Beschäftigung: Auftragnehmer-Einsatz (keine Krankenversicherung/bezahlter Urlaub)
- Vertragsdauer: 1 Monat; [voraussichtlicher Starttermin ist nächste Woche]
- Standort: nur USA
Auswahlverfahren
- Automatisierte Online-Coding-Challenge für Python und Docker-Test (RHLF)