Over de functie
Functietitel: Senior Software Engineer – LLM-evaluatie en repositoryvalidatie
Over de projecten: we bouwen LLM-evaluatie- en trainingsdatasets om LLM's te trainen in het werken aan realistische softwareengineeringproblemen. Een van onze benaderingen in dit project is het bouwen van verifieerbare SWE-taken op basis van de geschiedenis van openbare repositories, via een synthetische aanpak met human-in-the-loop, terwijl de dekking van de dataset wordt uitgebreid naar verschillende soorten taken qua programmeertaal, moeilijkheidsgraad, enz.
Over de functie: We zoeken ervaren software-engineers (op tech-leadniveau) die vertrouwd zijn met hoogwaardige openbare GitHub-repositories en een bijdrage aan dit project kunnen leveren. Deze functie omvat praktisch softwareengineeringwerk, waaronder automatisering van ontwikkelomgevingen, issuetriage en het evalueren van testdekking en -kwaliteit
Waarom bij ons komen werken? Turing is een van de snelstgroeiende AI-bedrijven ter wereld en versnelt de ontwikkeling en inzet van krachtige AI-systemen. U staat vooraan bij het evalueren van hoe LLM's omgaan met echte code en beïnvloedt de toekomst van door AI ondersteunde softwareontwikkeling. Dit is een unieke kans om praktische software-engineering te combineren met AI-onderzoek.
Hoe ziet een werkdag eruit:
- GitHub-issues analyseren en triëren in trending open-sourcebibliotheken.
- Coderepositories opzetten en configureren, inclusief dockerisatie en omgevingsopzet.
- De dekking en kwaliteit van unittests evalueren.
- Codebases lokaal aanpassen en uitvoeren om de prestaties van LLM's bij het oplossen van bugs te beoordelen.
- Samenwerken met onderzoekers om repositories en issues te ontwerpen en te identificeren die een uitdaging vormen voor LLM's.
- Mogelijkheden om een team van junior engineers aan te sturen bij de samenwerking aan projecten.
Vereiste vaardigheden:
- Minimaal 3+ jaar totale ervaring
- Sterke ervaring met ten minste één van de volgende talen: Ruby
- Vaardig met Git, Docker en de basisopzet van softwarepipelines.
- Het vermogen om complexe codebases te begrijpen en erin te navigeren.
- Vertrouwd met het lokaal uitvoeren, aanpassen en testen van echte projecten.
- Ervaring met het bijdragen aan of evalueren van open-sourceprojecten is een pluspunt.
Pluspunten:
- Eerdere deelname aan LLM-onderzoeks- of evaluatieprojecten.
- Ervaring met het bouwen of testen van ontwikkelaarstools of automatiseringsagents.
Voordelen van freelancen bij Turing:
- Werk in een volledig remote omgeving.
- De kans om te werken aan geavanceerde AI-projecten met toonaangevende LLM-bedrijven.
Details van het aanbod:
- Vereiste inzet: Ten minste 4 uur per dag en minimaal 20 uur per week, met 4 uur overlap met PST. (We bieden 3 opties voor tijdsinzet: 20 uur/week, 30 uur/week of 40 uur/week)
- Type dienstverband : Opdracht als contractor (geen medische dekking of betaald verlof)
- Locatie : India, Pakistan, Nigeria, Kenia, Egypte, Ghana, Bangladesh, Turkije, Mexico
Evaluatieproces (ongeveer 75 minuten) :
- Twee interviewrondes (60 min technisch + 30 min technische en culturele bespreking)