Over de functie
Functietitel: Senior Software Engineer – LLM-evaluatie en repositoryvalidatie
Over de projecten: we bouwen LLM-evaluatie- en trainingsdatasets om LLM's te trainen in het werken aan realistische softwareengineeringproblemen. Een van onze benaderingen in dit project is het bouwen van verifieerbare SWE-taken op basis van de geschiedenis van openbare repositories, via een synthetische aanpak met human-in-the-loop, terwijl de dekking van de dataset wordt uitgebreid naar verschillende soorten taken qua programmeertaal, moeilijkheidsgraad, enz.
Over de functie: We zoeken ervaren software-engineers (op tech-leadniveau) die vertrouwd zijn met hoogwaardige openbare GitHub-repositories en een bijdrage aan dit project kunnen leveren. U hebt ervaring met goed onderhouden, veelgebruikte repositories met 500+ sterren. Deze functie omvat praktisch softwareengineeringwerk, waaronder automatisering van ontwikkelomgevingen, issuetriage en het evalueren van testdekking en -kwaliteit
Waarom bij ons komen werken? Turing is een van de snelstgroeiende AI-bedrijven ter wereld en versnelt de ontwikkeling en inzet van krachtige AI-systemen. U staat vooraan bij het evalueren van hoe LLM's omgaan met echte code en beïnvloedt de toekomst van door AI ondersteunde softwareontwikkeling. Dit is een unieke kans om praktische software-engineering te combineren met AI-onderzoek.
Hoe ziet een werkdag eruit:
- GitHub-issues analyseren en triëren in trending open-sourcebibliotheken.
- Coderepositories opzetten en configureren, inclusief dockerisatie en omgevingsopzet.
- De dekking en kwaliteit van unittests evalueren.
- Codebases lokaal aanpassen en uitvoeren om de prestaties van LLM's bij het oplossen van bugs te beoordelen.
- Samenwerken met onderzoekers om repositories en issues te ontwerpen en te identificeren die een uitdaging vormen voor LLM's.
- Mogelijkheden om een team van junior engineers aan te sturen bij de samenwerking aan projecten.
Vereiste vaardigheden:
- Sterke ervaring met ten minste één van de volgende talen: Python, JavaScript, Java, Go, Rust, C/C++, C# of Ruby.
- Vaardig met Git, Docker en de basisopzet van softwarepipelines.
- Het vermogen om complexe codebases te begrijpen en erin te navigeren.
- Vertrouwd met het lokaal uitvoeren, aanpassen en testen van echte projecten.
- Ervaring met het bijdragen aan of evalueren van open-sourceprojecten is een pluspunt.
Pluspunten:
- Eerdere deelname aan LLM-onderzoeks- of evaluatieprojecten.
- Ervaring met het bouwen of testen van ontwikkelaarstools of automatiseringsagents.
Voordelen van freelancen bij Turing:
- Werk in een volledig remote omgeving.
- De kans om te werken aan geavanceerde AI-projecten met toonaangevende LLM-bedrijven.
Details van het aanbod:
- Vereiste inzet: 20 uur per week, met enige overlap met PST
- Type dienstverband: Opdracht als contractor (geen medische dekking of betaald verlof)
- Duur van het contract: 3 maanden, met verwachte startdatum volgende week