Red-Teaming Kwaliteitsborging Lead (QAL)

In deze uurgebaseerde, remote opdrachtrol werk je als Red-Teaming Kwaliteitsborging Lead (QAL) om kwaliteit, consistentie en prestaties van trainers te bewaken binnen AI red-teaming- en veiligheidsevaluatieprojecten. Je beoordeelt door AI gegenereerde veiligheidsevaluaties, adversariële prompts, risicoanalyses en werk van trainers/QA; je evalueert de kwaliteit van output tegen projectrichtlijnen; je geeft precieze schriftelijke feedback; en je zorgt ervoor dat alle bijdragers de verwachte kwaliteitsstandaarden volgen.

Je beoordeelt werk op risico-identificatie, adversarieel redeneren, beleidsbewustzijn, aansluiting bij veiligheidstaxonomieën, promptkwaliteit, realisme van scenario's, dekking van kwetsbaarheden, duidelijkheid, formatting, instructieopvolging en naleving van projectspecifieke rubrics. Je signaleert terugkerende kwaliteitsproblemen, communiceert updates naar trainers en QA's, ondersteunt onboarding, onderhoudt documentatie en helpt bij het activeren van bijdragers die niet consistent werken. Deze rol vereist sterk beoordelingsvermogen op het gebied van AI-veiligheid/red-teaming, sterke communicatieve vaardigheden in het Engels, uitstekend oog voor detail, gestructureerde communicatie en het vermogen om kwaliteitsworkflows aan te sturen binnen remote expertteams.

Deze rol is bij SME Careers, een snelgroeiend AI Data Services-bedrijf en dochteronderneming van SuperAnnotate, dat trainingsdata levert aan veel van 's werelds grootste AI-bedrijven en foundation-model-labs. Jouw leiderschap op het gebied van red-teaming-kwaliteit helpt direct om 's werelds toonaangevende AI-modellen te verbeteren door ervoor te zorgen dat veiligheidstrainingsdata realistisch, genuanceerd, beleidsconform, goed gedocumenteerd en nuttig is voor het identificeren van kwetsbaarheden in modellen.

Het selectieproces omvat een AI-interview, een domeinspecifieke taak en een interview met een recruiter.

Belangrijk: Er is geen direct project voor deze rol; als je echter gekwalificeerd bent, behoor je tot de eerste experts die we benaderen wanneer relevante kansen zich voordoen. Dit geeft je ook toegang tot toekomstige projecten die beschikbaar zijn via ons expertnetwerk.

Wat je gaat doen

• Kwaliteitsmonitoring: steekproefsgewijs red-teaming-items controleren, kwaliteitsproblemen identificeren, doorlopende feedback geven via DM's en terugkerende of kritieke problemen escaleren.
• Veiligheids- en red-teambeoordeling: adversariële prompts, modelreacties, risicoclassificaties, veiligheidsanalyses, beleidsuitleg en kwetsbaarheidsrapporten beoordelen op nauwkeurigheid, realisme en bruikbaarheid.
• Communicatie met trainers en QA: trainers en QA's op Discord bijpraten over nieuwe itemrichtlijnen, projectwijzigingen, workflowupdates, kwaliteitsverwachtingen en red-teaming-specifieke beoordelingsstandaarden.
• Vraagafhandeling: trainer-/QA-vragen duidelijk en tijdig beantwoorden, vooral rond risicocategorieën, adversariële strategie, beleidsgrenzen, edge cases, ernst en rubricinterpretatie.
• Activeringsbeheer voor trainers/QA: bijdragers die inactief zijn of niet werken een DM sturen, activering aanmoedigen, follow-ups bijhouden en beschikbaarheidsproblemen signaleren wanneer nodig.
• Documentatie: red-teaming-projectdocumentatie maken en onderhouden, inclusief stijlgidsen, trackers, FAQ's, kwaliteitsnotities, voorbeelden, honeypots, kalibratietaken en onboardingmaterialen.
• Onboarding en training: onboarding-/trainingcalls plannen en uitvoeren met trainers en QA's om projectverwachtingen, workflows, rubrics, kwaliteitsstandaarden en red-teaming-specifieke beoordelingsvereisten uit te leggen.
• Kwaliteitsafstemming: ervoor zorgen dat alle trainers en QA's red-teaming- en veiligheidsbeoordelingsrichtlijnen consistent toepassen en updates begrijpen naarmate projecten zich ontwikkelen.
• Risicobeoordeling: onveilige, laagwaardige, onrealistische, beleidsinconsistente of onvoldoende gedocumenteerde red-team-items signaleren.
• Procesverbetering: terugkerende kwaliteitshiaten identificeren, workflowverbeteringen voorstellen en helpen bij het opbouwen van schaalbare QA-processen voor AI-red-teamingprojecten.

Wat we zoeken

• Bachelor-, Master- of professionele ervaring in Computer Science, Cybersecurity, AI Safety, Trust & Safety, Public Policy, Psychologie, Linguïstiek, Rechten, Security Studies, Risicoanalyse of een gerelateerd vakgebied.
• Sterke beheersing van de Engelse taal om projectrichtlijnen te volgen, met teams te communiceren en duidelijke schriftelijke feedback te geven.
• 3+ jaar ervaring in AI-veiligheid, red-teaming, cybersecurity, trust and safety, contentbeleid, risicoanalyse, adversarieel testen, modelevaluatie, contentmoderatie of gerelateerde workflows.
• Sterk begrip van AI-risicocategorieën, adversariële prompting, jailbreak-patronen, taxonomieën van schadelijke content, misbruikscenario's, beleidsinterpretatie, modelgedrag en principes van veiligheidsevaluatie.
• Vermogen om red-teaming-content te beoordelen aan de hand van gedetailleerde rubrics en problemen te identificeren zoals zwak adversarieel ontwerp, onrealistische scenario's, slechte risicocategorisering, verkeerde beleidsinterpretatie, onveilige outputs of oppervlakkig kwetsbaarheidstesten.
• Bekendheid met gebieden zoals prompt injection, social engineering, misbruik in cybersecurity, fraude, zelfbeschadigingsveiligheid, extremistische content, desinformatie, privacyrisico, illegale activiteiten, bias en weigeringsgedrag van modellen is gewenst.
• Ervaring met het leiden of ondersteunen van remote teams van red-teamers, reviewers, beleidsanalisten, annotatoren, onderzoekers of QA's is sterk gewenst.
• Comfortabel werken in snel veranderende remote omgevingen met tools zoals Discord, Google Sheets, Google Docs, trackers, dashboards en projectmanagementsystemen.
• Sterk detailgericht en georganiseerd, met het vermogen om stijlgidsen, FAQ's, trackers, onboardingmaterialen, kalibratietaken en documentatie te onderhouden.
• Ervaring met AI-training, LLM-evaluatie, veiligheidsevaluaties, QA van contentmoderatie, beleids-QA of rubricgebaseerde beoordeling is een sterk pluspunt.