Über die Stelle
Stellenbezeichnung: Senior Software Engineer – LLM-Evaluierung & Repository-Validierung
Über die Projekte: Wir erstellen Datensätze für die Evaluierung und das Training von LLMs, damit LLMs lernen, realistische Softwareentwicklungsprobleme zu bearbeiten. Einer unserer Ansätze in diesem Projekt besteht darin, überprüfbare SWE-Aufgaben auf Grundlage der Verlaufshistorien öffentlicher Repositories auf synthetische Weise und mit Human-in-the-Loop zu erstellen und dabei die Abdeckung des Datensatzes auf verschiedene Aufgabentypen hinsichtlich Programmiersprache, Schwierigkeitsgrad usw. auszuweiten.
Über die Rolle: Wir suchen erfahrene Softwareentwickler (Tech-Lead-Niveau), die mit hochwertigen öffentlichen GitHub-Repositories vertraut sind und zu diesem Projekt beitragen können. Sie sollten Erfahrung mit gut gepflegten, weit verbreiteten Repos mit 500+ Stars haben. Diese Rolle umfasst praktische Softwareentwicklungsarbeit, einschließlich Automatisierung von Entwicklungsumgebungen, Issue-Triage sowie Bewertung von Testabdeckung und -qualität
Warum sollten Sie sich uns anschließen? Turing ist eines der weltweit am schnellsten wachsenden KI-Unternehmen und beschleunigt die Weiterentwicklung und den Einsatz leistungsfähiger KI-Systeme. Sie stehen an der Spitze der Evaluierung, wie LLMs mit echtem Code interagieren, und beeinflussen die Zukunft der KI-gestützten Softwareentwicklung. Dies ist eine einzigartige Gelegenheit, praktische Softwareentwicklung mit KI-Forschung zu verbinden.
Wie sieht der Arbeitsalltag aus:
- Analyse und Triage von GitHub-Issues in angesagten Open-Source-Bibliotheken.
- Einrichtung und Konfiguration von Code-Repositories, einschließlich Dockerisierung und Einrichtung der Umgebung.
- Bewertung von Unit-Test-Abdeckung und -Qualität.
- Lokales Anpassen und Ausführen von Codebasen, um die Leistung von LLMs in Bugfixing-Szenarien zu beurteilen.
- Zusammenarbeit mit Forschenden, um Repositories und Issues zu konzipieren und zu identifizieren, die für LLMs herausfordernd sind.
- Möglichkeiten, ein Team von Junior-Entwicklern bei der Zusammenarbeit an Projekten zu leiten.
Erforderliche Fähigkeiten:
- Fundierte Erfahrung in mindestens einer der folgenden Sprachen: Python, JavaScript, Java, Go, Rust, C/C++, C# oder Ruby.
- Versiert im Umgang mit Git, Docker und der grundlegenden Einrichtung von Software-Pipelines.
- Fähigkeit, komplexe Codebasen zu verstehen und sich darin zurechtzufinden.
- Sicherer Umgang mit dem lokalen Ausführen, Anpassen und Testen von realen Projekten.
- Erfahrung bei der Mitarbeit an oder Bewertung von Open-Source-Projekten ist von Vorteil.
Von Vorteil:
- Frühere Teilnahme an LLM-Forschungs- oder Evaluierungsprojekten.
- Erfahrung im Entwickeln oder Testen von Entwicklertools oder Automatisierungsagenten.
Vorteile der freiberuflichen Tätigkeit bei Turing:
- Arbeit in einem vollständig remote geprägten Umfeld.
- Möglichkeit, an hochmodernen KI-Projekten mit führenden LLM-Unternehmen zu arbeiten.
Angebotsdetails:
- Erforderlicher Zeitaufwand: 20 Stunden pro Woche mit gewisser Überschneidung mit PST
- Beschäftigungsart: Auftragnehmer-Einsatz (keine Krankenversicherung/bezahlter Urlaub)
- Vertragsdauer: 3 Monate mit voraussichtlichem Starttermin nächste Woche