Über die Stelle
Stellenbezeichnung: Senior Software Engineer – LLM-Evaluierung & Repository-Validierung
Über die Projekte: Wir erstellen Datensätze für die Evaluierung und das Training von LLMs, damit LLMs lernen, realistische Softwareentwicklungsprobleme zu bearbeiten. Einer unserer Ansätze in diesem Projekt besteht darin, überprüfbare SWE-Aufgaben auf Grundlage der Verlaufshistorien öffentlicher Repositories auf synthetische Weise und mit Human-in-the-Loop zu erstellen und dabei die Abdeckung des Datensatzes auf verschiedene Aufgabentypen hinsichtlich Programmiersprache, Schwierigkeitsgrad usw. auszuweiten.
Über die Rolle: Wir suchen erfahrene Softwareentwickler (Tech-Lead-Niveau), die mit hochwertigen öffentlichen GitHub-Repositories vertraut sind und zu diesem Projekt beitragen können. Diese Rolle umfasst praktische Softwareentwicklungsarbeit, einschließlich Automatisierung von Entwicklungsumgebungen, Issue-Triage sowie Bewertung von Testabdeckung und -qualität
Warum sollten Sie sich uns anschließen? Turing ist eines der weltweit am schnellsten wachsenden KI-Unternehmen und beschleunigt die Weiterentwicklung und den Einsatz leistungsfähiger KI-Systeme. Sie stehen an der Spitze der Evaluierung, wie LLMs mit echtem Code interagieren, und beeinflussen die Zukunft der KI-gestützten Softwareentwicklung. Dies ist eine einzigartige Gelegenheit, praktische Softwareentwicklung mit KI-Forschung zu verbinden.
Wie sieht der Arbeitsalltag aus:
- Analyse und Triage von GitHub-Issues in angesagten Open-Source-Bibliotheken.
- Einrichtung und Konfiguration von Code-Repositories, einschließlich Dockerisierung und Einrichtung der Umgebung.
- Bewertung von Unit-Test-Abdeckung und -Qualität.
- Lokales Anpassen und Ausführen von Codebasen, um die Leistung von LLMs in Bugfixing-Szenarien zu beurteilen.
- Zusammenarbeit mit Forschenden, um Repositories und Issues zu konzipieren und zu identifizieren, die für LLMs herausfordernd sind.
- Möglichkeiten, ein Team von Junior-Entwicklern bei der Zusammenarbeit an Projekten zu leiten.
Erforderliche Fähigkeiten:
- Mindestens 3+ Jahre Gesamterfahrung
- Fundierte Erfahrung in mindestens einer der folgenden Sprachen: Go
- Versiert im Umgang mit Git, Docker und der grundlegenden Einrichtung von Software-Pipelines.
- Fähigkeit, komplexe Codebasen zu verstehen und sich darin zurechtzufinden.
- Sicherer Umgang mit dem lokalen Ausführen, Anpassen und Testen von realen Projekten.
- Erfahrung bei der Mitarbeit an oder Bewertung von Open-Source-Projekten ist von Vorteil.
Von Vorteil:
- Frühere Teilnahme an LLM-Forschungs- oder Evaluierungsprojekten.
- Erfahrung im Entwickeln oder Testen von Entwicklertools oder Automatisierungsagenten.
Vorteile der freiberuflichen Tätigkeit bei Turing:
- Arbeit in einem vollständig remote geprägten Umfeld.
- Möglichkeit, an hochmodernen KI-Projekten mit führenden LLM-Unternehmen zu arbeiten.
Angebotsdetails:
- Erforderlicher Zeitaufwand: Mindestens 4 Stunden pro Tag und mindestens 20 Stunden pro Woche mit 4 Stunden Überschneidung mit PST. (Wir bieten 3 Optionen für den Zeitaufwand: 20 Std./Woche, 30 Std./Woche oder 40 Std./Woche)
- Beschäftigungsart: Auftragnehmer-Einsatz (keine Krankenversicherung/bezahlter Urlaub)
- Standort: Indien, Pakistan, Nigeria, Kenia, Ägypten, Ghana, Bangladesch, Türkei, Mexiko
Auswahlverfahren (ca. 75 Min.) :
- Zwei Interviewrunden (60 Min. technisch + 30 Min. technisches und kulturelles Gespräch)