Über die Stelle
Über Turing
Turing hat seinen Sitz in San Francisco, Kalifornien, und ist der weltweit führende Forschungsbeschleuniger für Frontier-KI-Labs sowie ein vertrauenswürdiger Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Arten: Erstens beschleunigt Turing die Spitzenforschung mit hochwertigen Daten, fortschrittlichen Trainingspipelines sowie führenden KI-Forschenden, die sich auf Programmierung, logisches Schlussfolgern, MINT, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert haben; zweitens setzt Turing dieses Know-how ein, um Unternehmen dabei zu helfen, KI vom Proof of Concept zu proprietärer Intelligenz weiterzuentwickeln – mit Systemen, die zuverlässig arbeiten, messbare Wirkung erzielen und dauerhafte Ergebnisse in der P&L liefern
Rollenübersicht
Wir suchen erfahrene Data Analysts (MLE Bench), die zu benchmarkgetriebenen Evaluierungsprojekten mit Schwerpunkt auf praxisnahen Machine-Learning-Systemen beitragen. Diese Rolle umfasst praktische analytische Arbeit mit produktionsnahen Datensätzen, Metriken und ML-Ausgaben, um die Leistung fortschrittlicher KI-Systeme zu bewerten, zu diagnostizieren und zu verbessern.
Die ideale Person arbeitet sicher an der Schnittstelle von Datenanalyse und Machine Learning, verfügt über ausgeprägte analytische Strenge und kann mit realen Datensätzen und ML-Evaluierungs-Workflows arbeiten.
Wie sieht der Arbeitsalltag aus?
- Analyse strukturierter und unstrukturierter Datensätze, die aus ML-Trainings-, Inferenz- und Evaluierungspipelines stammen.
- Definition, Berechnung und Validierung von Metriken zur Bewertung von Modellleistung und -verhalten.
- Untersuchung von Datenverteilungen, Modellausgaben, Fehlermodi und Sonderfällen, die für Benchmark-Aufgaben relevant sind.
- Schreiben und Ausführen von Python- und SQL-Code, um Daten zu analysieren, Berichte zu erstellen und Evaluierungs-Workflows zu unterstützen.
- Validierung von Datenqualität, Konsistenz und Korrektheit über Datensätze und Experimente hinweg.
- Erstellung klarer, gut dokumentierter analytischer Artefakte und reproduzierbarer Analyse-Workflows.
- Zusammenarbeit mit ML-Engineers und Forschenden, um anspruchsvolle, praxisnahe Evaluierungsszenarien für MLE Bench zu entwerfen.
Anforderungen
- Mindestens 3+ Jahre Erfahrung als Data Analyst oder analytikfokussierter Engineer.
- Fundierte Python-Kenntnisse für die Datenanalyse.
- Solide Erfahrung mit SQL und relationalen Datensätzen.
- Erfahrung in der Analyse von ML-Ausgaben und Evaluierungsmetriken.
- Fundiertes Verständnis von Statistik und analytischem Denken.
- Fähigkeit, mit großen, komplexen Datensätzen zu arbeiten und verlässliche Erkenntnisse zu gewinnen.
- Erfahrung im Schreiben von sauberem, lesbarem und gut dokumentiertem Analysecode.
- Ausgezeichnete mündliche und schriftliche Kommunikationsfähigkeiten in Englisch.
Vorteile der freiberuflichen Tätigkeit bei Turing
- Arbeit in einem vollständig remote geprägten Umfeld.
- Möglichkeit, an hochmodernen KI-Projekten mit führenden LLM-Unternehmen zu arbeiten.
Angebotsdetails
- Erforderlicher Zeitaufwand: Mindestens 4 Stunden pro Tag und mindestens 20 Stunden pro Woche mit 4 Stunden Überschneidung mit PST.
- Art der Beschäftigung: Auftragnehmer-Einsatz (keine Krankenversicherung/bezahlter Urlaub)
- Vertragsdauer: 3 Monate (anpassbar je nach Einsatz)
- Standort: Indien, Pakistan, Nigeria, Kenia, Ägypten, Ghana, Bangladesch, Türkei, Brasilien, Mexiko
Auswahlverfahren
- Technisches Interview mit Live-Coding-Challenge (60 Min.)