Senior Python-ontwikkelaar

Over Turing:

Turing is een van de snelstgroeiende AI-bedrijven ter wereld en versnelt de ontwikkeling en inzet van krachtige AI-systemen.

Turing helpt klanten op twee manieren: door samen te werken met 's werelds toonaangevende AI-labs om de capaciteiten van frontiermodellen te vergroten op het gebied van denken, redeneren, coderen, agentisch gedrag, multimodaliteit, meertaligheid, STEM en frontierkennis; en door dat werk te benutten om AI-systemen voor de praktijk te bouwen die bedrijfskritieke prioriteiten van bedrijven oplossen.

Overzicht van de functie:

Deze functie maakt deel uit van een project met een van de foundation-LLM-bedrijven. Het doel is deze foundation-LLM-bedrijven te helpen hun Large Language Models te verbeteren.

Eén manier waarop we deze bedrijven helpen hun modellen te verbeteren, is door hen hoogwaardige eigen data te leveren. Deze data dient twee hoofddoelen: ten eerste als basis voor het finetunen van hun modellen en ten tweede als evaluatieset om de prestaties van hun modellen of die van concurrenten te benchmarken.

Voor het genereren van SFT-data moet u bijvoorbeeld een prompt samenstellen of aangereikt krijgen die code en vragen bevat; vervolgens geeft u de antwoorden van het model en schrijft u bijbehorende Python-code om de vragen op te lossen.

Voor het genereren van RLHF-data moet u mogelijk zelf een prompt maken of een door de klant aangeleverde prompt gebruiken, het model vragen stellen en de output van twee versies van de LLM evalueren. U vergelijkt deze outputs en geeft feedback, die vervolgens wordt gebruikt om de modellen te finetunen. Let op: deze functie omvat niet het bouwen of finetunen van LLM's.

Hoe ziet een werkdag eruit:

• Efficiënte, hoogwaardige Python-code ontwerpen, ontwikkelen en onderhouden om AI-modellen te trainen en te optimaliseren.
• Evaluaties (Evals) uitvoeren om de prestaties van modellen te benchmarken en de resultaten te analyseren voor voortdurende verbetering.
• Vertrouwdheid met Python-frameworks en -bibliotheken
• Antwoorden van AI-modellen op gebruikersvragen uit uiteenlopende domeinen evalueren en rangschikken, en zorgen voor afstemming op vooraf bepaalde criteria.
• Uitgebreide toelichtingen en onderbouwingen voor evaluaties ontwikkelen, waarin uitstekend redeneervermogen en technische expertise tot uiting komen.
• Initiatieven op het gebied van Supervised Fine-Tuning (SFT) leiden, waaronder het maken en onderhouden van hoogwaardige, taakspecifieke datasets.
• Samenwerken met onderzoekers en annotators om Reinforcement Learning with Human Feedback (RLHF) uit te voeren en reward models te verfijnen.
• Innovatieve evaluatiestrategieën en -processen ontwerpen om de afstemming van het model op de behoeften van gebruikers en ethische richtlijnen te verbeteren.
• Optimale antwoorden maken en verfijnen om de prestaties van AI te verbeteren, met nadruk op duidelijkheid, relevantie en technische nauwkeurigheid.
• Grondige peer reviews van code en documentatie uitvoeren, constructieve feedback geven en verbeterpunten identificeren.
• Samenwerken met cross-functionele teams om de prestaties van modellen te verbeteren en bij te dragen aan productverbeteringen.
• Voortdurend nieuwe tools, technieken en methodologieën verkennen en integreren om AI-trainingsprocessen te verbeteren.

Vereisten:

• 3+ jaar sterke ervaring met de programmeertaal Python.
• Ervaring in de sector en kennis van codekwaliteit, opmaak en best practices voor softwareontwikkeling
• Ervaring met het testecosysteem van Python, waaronder unit-, integratie- en property-based testing.
• Kennis van multithreading en asynchroon programmeren in Python.
• Het vermogen om met architectuurpatronen te werken en code te refactoren zonder regressies te introduceren.
• Sterke debugvaardigheden, waaronder het oplossen van geheugen- en concurrencyproblemen.
• Vloeiend in gesproken en geschreven Engelse communicatie

Voordelen van freelancen bij Turing:

• Werk in een volledig remote omgeving.
• De kans om te werken aan geavanceerde AI-projecten met toonaangevende LLM-bedrijven.

Details van het aanbod:

• Vereiste inzet: ten minste 4 uur per dag en minimaal 20 uur per week, met 4 uur overlap met PST. (We bieden 3 opties voor tijdsinzet: 20 uur/week, 30 uur/week of 40 uur/week)
• Type samenwerking : Opdracht als contractor (geen medische dekking of betaald verlof)
• Duur van het contract : 1 maand; [verwachte startdatum is volgende week]

Evaluatieproces (ongeveer 75 minuten) :

• Twee interviewrondes (60 min technisch + 15 min cultureel &, bespreking van het aanbod)