Über die Stelle
Über uns Turing hat seinen Sitz in San Francisco, Kalifornien, und ist der weltweit führende Forschungsbeschleuniger für Frontier-KI-Labs sowie ein vertrauenswürdiger Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Arten: Erstens beschleunigt Turing die Spitzenforschung mit hochwertigen Daten, fortschrittlichen Trainingspipelines sowie führenden KI-Forschenden, die sich auf Softwareentwicklung, logisches Schlussfolgern, MINT, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert haben; zweitens setzt Turing dieses Know-how ein, um Unternehmen dabei zu helfen, KI vom Proof of Concept zu proprietärer Intelligenz weiterzuentwickeln – mit Systemen, die zuverlässig arbeiten, messbare Wirkung erzielen und dauerhafte Ergebnisse in der P&L liefern.
Projektübersicht Als Evaluator bzw. Evaluatorin im Bereich Softwareentwicklung erstellen Sie in enger Zusammenarbeit mit Forschenden hochmoderne Datensätze für das Training, das Benchmarking und die Weiterentwicklung großer Sprachmodelle. Dazu gehören das Kuratieren von Codebeispielen, das Bereitstellen präziser Lösungen und das Vornehmen von Korrekturen in Python, JavaScript (einschließlich ReactJS), C/C++, Java, Rust und Go; das Bewerten und Verfeinern von KI-generiertem Code hinsichtlich Effizienz, Skalierbarkeit und Zuverlässigkeit; sowie die Zusammenarbeit mit funktionsübergreifenden Teams, um KI-gestützte Coding-Lösungen auf Unternehmensniveau zu verbessern.
Wie sieht ein typischer Tag aus?
- Arbeit an Initiativen zum Training von KI-Modellen durch das Kuratieren von Codebeispielen, das Erstellen von Lösungen und das Korrigieren von Code in Python, JavaScript (einschließlich ReactJS), C/C++, Java, Rust und Go.
- Bewertung und Verfeinerung von KI-generiertem Code, um sicherzustellen, dass er effizient, skalierbar und zuverlässig ist.
- Zusammenarbeit mit funktionsübergreifenden Teams, um KI-gestützte Coding-Lösungen anhand branchenüblicher Leistungs-Benchmarks zu verbessern.
- Entwicklung von Agenten, die die Qualität von Code überprüfen und Fehlermuster erkennen können.
- Aufstellen von Hypothesen zu den Schritten des Softwareentwicklungszyklus (Prototyping, Architekturdesign, API-Design, Produktionsimplementierung, Launch, Experimente, Monitoring, Betriebswartung) und Bewertung der Fähigkeiten von Modellen dazu
- Entwurf von Verifikationsmechanismen, die eine Lösung für eine Softwareentwicklungsaufgabe automatisch überprüfen können.
Erforderliche Fähigkeiten
- Mehrjährige Erfahrung in der Softwareentwicklung (3 Jahre oder mehr)
- Fundierte Expertise im Aufbau von Full-Stack-Anwendungen und in der Bereitstellung skalierbarer, produktionsreifer Software mit modernen Sprachen und Tools.
- Tiefes Verständnis von Softwarearchitektur, Design, Entwicklung, Debugging sowie der Beurteilung von Codequalität und Code-Reviews.
- Ausgezeichnete mündliche und schriftliche Kommunikationsfähigkeiten für klare, strukturierte Begründungen von Bewertungen.
Details zum Engagement
- Zeitaufwand: flexibles Engagement, mindestens 10 Std./Woche, bis zu 40 Std./Woche
- Art: Auftragnehmer (keine Krankenversicherung/bezahlter Urlaub)
- Dauer: 1 Monat (mögliche Verlängerungen je nach Leistung und Eignung)
- Standort: Bewerberinnen und Bewerber müssen in den USA, in Kanada oder in WEU-Ländern ansässig sein (Österreich, Belgien, Frankreich, Deutschland, ...)
Auswahlverfahren
- Der Bewerbungsprozess dauert 15-30 Minuten.
- Der Abschluss eines KI-Videointerviews ist erforderlich.