Über die Stelle
Freiberuflich · Remote · Nordamerika (nur)
Über Turing
Turing ist eines der weltweit führenden AGI-Infrastrukturunternehmen und arbeitet mit Frontier-KI-Labors zusammen, um die Modellentwicklung durch hochwertige Trainingsdaten, Evaluierungen und Engineering-Talente zu beschleunigen.
Details zur Zusammenarbeit
-
Vergütung: $100-$150/Stunde; bitte nennen Sie eine konkrete Stundensatzerwartung
-
Verfügbarkeit: 20-40 Stunden/Woche, mit mindestens 6 Stunden Überschneidung mit der pazifischen Zeit pro Tag
-
Art: Unabhängiger Auftragnehmer
-
Dauer: Etwa 3 Monate
-
Start: So bald wie möglich
-
Standort: Nordamerika (nur)
Über die Rolle
Wir suchen erfahrene, praxisnahe Software-Ingenieure, die dabei helfen, KI-Coding-Modelle zu bewerten und zu verbessern.
Statt in erster Linie Produktionsanwendungen zu entwickeln, arbeiten Sie mit Coding-Agenten in realen Repositories und beurteilen die Qualität ihrer Arbeit. Sie prüfen generierten Code und das Verhalten der Agenten, stellen fest, ob Lösungen technisch korrekt sind, identifizieren Fehlermodi und erstellen die Evaluierungssignale und das Feedback, mit denen die Modellleistung verbessert wird.
Betrachten Sie den Coding-Agenten als einen weiteren Ingenieur, dessen Arbeit Sie prüfen: Versteht er die Aufgabe? Hat er den richtigen Ansatz gewählt? Ist der resultierende Code korrekt, robust und wartbar? Können Sie genau erklären, wo er erfolgreich war oder gescheitert ist?
Ihre Aufgaben
-
Rubriken und Bewertungskriterien für Präferenzdaten entwerfen, verfeinern und iterativ weiterentwickeln
-
Daten mit hohem Qualitätsanspruch prüfen und labeln und dabei subtile Probleme erkennen, die anderen entgehen könnten
-
Pipelines und Infrastruktur aufbauen und pflegen, die Workflows zur Datengenerierung, -erfassung und -evaluierung unterstützen
-
Erkenntnisse aus der Datenarbeit zu klaren Ausarbeitungen, Updates und Empfehlungen für das Team zusammenführen
-
Eng mit Forschern und Ingenieuren zusammenarbeiten, um qualitatives Urteilsvermögen in skalierbare Prozesse zu übersetzen
Was wir suchen
-
5+ Jahre praktische Erfahrung in der Softwareentwicklung
-
Sehr gute Kenntnisse in Python, TypeScript/JavaScript, Go oder einer anderen wichtigen Produktionssprache
-
Erfahrung in der Arbeit mit umfangreichen, realen Codebasen
-
Ausgeprägte Code-Review-Fähigkeiten und technisches Urteilsvermögen
-
Fähigkeit, klar zu erklären, warum eine Implementierung korrekt, inkorrekt oder verbesserungswürdig ist
-
Starke schriftliche Kommunikation
-
Erfahrung im Umgang mit modernen LLMs oder KI-Coding-Tools
Erfahrung mit LLM-Evaluierung, Coding-Agenten, RLHF, Präferenzdaten, Rubrik-Design oder Post-Training ist von Vorteil, aber nicht erforderlich.
Auswahlverfahren
-
KI-Interview (ca. 25 Minuten)
-
Praktische Code-/KI-Evaluierungsübung (ca. 30 Minuten)
-
Interview mit der Führungskraft (ca. 20 Minuten)
Die praktische Übung konzentriert sich auf Ihre Fähigkeit, KI-generierten Code zu prüfen und zu bewerten, nicht auf Wettbewerbsprogrammierung oder Algorithmus-Rätsel.