Über die Stelle
Über Turing
Turing hat seinen Sitz in San Francisco, Kalifornien, und ist der weltweit führende Forschungsbeschleuniger für Frontier-KI-Labs sowie ein vertrauenswürdiger Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Arten: Erstens beschleunigt Turing die Spitzenforschung mit hochwertigen Daten, fortschrittlichen Trainingspipelines sowie führenden KI-Forschenden, die sich auf Programmierung, logisches Schlussfolgern, MINT, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert haben; zweitens setzt Turing dieses Know-how ein, um Unternehmen dabei zu helfen, KI vom Proof of Concept zu proprietärer Intelligenz weiterzuentwickeln – mit Systemen, die zuverlässig arbeiten, messbare Wirkung erzielen und dauerhafte Ergebnisse in der P&L liefern
Rollenübersicht
Als Evaluator bzw. Evaluatorin im Bereich Softwareentwicklung erstellen Sie in enger Zusammenarbeit mit Forschenden hochmoderne Datensätze für das Training, das Benchmarking und die Weiterentwicklung großer Sprachmodelle. Dazu gehören das Kuratieren von Codebeispielen, das Bereitstellen präziser Lösungen und das Vornehmen von Korrekturen in Python, JavaScript (einschließlich ReactJS), C/C++, Java, Rust und Go; das Bewerten und Verfeinern von KI-generiertem Code hinsichtlich Effizienz, Skalierbarkeit und Zuverlässigkeit; sowie die Zusammenarbeit mit funktionsübergreifenden Teams, um KI-gestützte Coding-Lösungen auf Unternehmensniveau zu verbessern.
Wie sieht der Arbeitsalltag aus?
- Arbeit an Initiativen zum Training von KI-Modellen durch das Kuratieren von Codebeispielen, das Erstellen von Lösungen und das Korrigieren von Code in Python, JavaScript (einschließlich ReactJS), C/C++, Java, Rust und Go.
- Bewertung und Verfeinerung von KI-generiertem Code, um sicherzustellen, dass er effizient, skalierbar und zuverlässig ist.
- Zusammenarbeit mit funktionsübergreifenden Teams, um KI-gestützte Coding-Lösungen anhand branchenüblicher Leistungs-Benchmarks zu verbessern.
- Entwicklung von Agenten, die die Qualität von Code überprüfen und Fehlermuster erkennen können.
- Aufstellen von Hypothesen zu den Schritten des Softwareentwicklungszyklus (Prototyping, Architekturdesign, API-Design, Produktionsimplementierung, Launch, Experimente, Monitoring, Betriebswartung) und Bewertung der Fähigkeiten von Modellen dazu
- Entwurf von Verifikationsmechanismen, die eine Lösung für eine Softwareentwicklungsaufgabe automatisch überprüfen können.
Anforderungen
- Mehrjährige Erfahrung in der Softwareentwicklung, davon 2+ Jahre durchgehende Vollzeiterfahrung bei einem erstklassigen Produktunternehmen (z. B. Google, Stripe, Amazon, Apple, Meta, Netflix, Microsoft, Datadog, Dropbox, Shopify, PayPal, IBM Research).
- Fundierte Expertise im Aufbau von Full-Stack-Anwendungen und in der Bereitstellung skalierbarer, produktionsreifer Software mit modernen Sprachen und Tools.
- Tiefes Verständnis von Softwarearchitektur, Design, Entwicklung, Debugging sowie der Beurteilung von Codequalität und Code-Reviews.
- Ausgezeichnete mündliche und schriftliche Kommunikationsfähigkeiten für klare, strukturierte Begründungen von Bewertungen.
Angebotsdetails
- Zeitaufwand: flexibles Engagement, mindestens 10 Std./Woche, bis zu 40 Std./Woche (teilweise Überschneidung mit PST erforderlich)
- Art: Auftragnehmer (keine Krankenversicherung/bezahlter Urlaub)
- Dauer: 1 Monat (Beginn nächste Woche; mögliche Verlängerungen je nach Leistung und Eignung)