Líder de Aseguramiento de Calidad de Red-Teaming (QAL)

En este rol de contratista remoto por horas, trabajarás como Líder de Aseguramiento de Calidad de Red-Teaming (QAL) para supervisar la calidad, la consistencia y el desempeño de los entrenadores en proyectos de red-teaming de IA y evaluación de seguridad. Revisarás evaluaciones de seguridad generadas por IA, prompts adversariales, análisis de riesgos y trabajo de entrenadores/QA; evaluarás la calidad de los resultados según las pautas del proyecto; proporcionarás retroalimentación escrita precisa; y garantizarás que todos los contribuyentes sigan los estándares de calidad esperados.

Evaluarás el trabajo en cuanto a identificación de riesgos, razonamiento adversarial, conocimiento de políticas, alineación con la taxonomía de seguridad, calidad de los prompts, realismo de los escenarios, cobertura de vulnerabilidades, claridad, formato, seguimiento de instrucciones y adherencia a las rúbricas específicas del proyecto. Detectarás problemas de calidad recurrentes, comunicarás actualizaciones a los entrenadores y QAs, apoyarás la incorporación, mantenerás la documentación y ayudarás a activar a los contribuyentes que no están trabajando de manera constante. Este rol requiere un fuerte criterio en seguridad de IA/red-teaming, sólidas habilidades de comunicación en inglés, excelente atención al detalle, comunicación estructurada y la capacidad de gestionar flujos de trabajo de calidad en equipos remotos de expertos.

Este rol es con SME Careers, una empresa de servicios de datos de IA en rápido crecimiento y subsidiaria de SuperAnnotate, que entrega datos de entrenamiento para muchas de las empresas de IA y laboratorios de modelos fundacionales más grandes del mundo. Tu liderazgo en calidad de red-teaming ayudará directamente a mejorar los principales modelos de IA del mundo al garantizar que los datos de entrenamiento de seguridad sean realistas, matizados, alineados con las políticas, bien documentados y útiles para identificar vulnerabilidades de los modelos.

El proceso de selección incluye una entrevista con IA, una tarea específica del dominio y una entrevista con un reclutador.

Importante: No hay un proyecto inmediato para este rol; sin embargo, si estás calificado, estarás entre los primeros expertos a quienes contactaremos cuando surjan oportunidades relevantes. Esto también te brindará acceso a futuros proyectos disponibles a través de nuestra red de expertos.

Qué harás

• Monitoreo de calidad: Revisar por muestreo elementos de red-teaming, identificar problemas de calidad, proporcionar retroalimentación continua por mensajes directos y escalar problemas recurrentes o críticos.
• Revisión de seguridad y red-team: Evaluar prompts adversariales, respuestas de modelos, clasificaciones de riesgo, análisis de seguridad, explicaciones de políticas e informes de vulnerabilidades en cuanto a precisión, realismo y utilidad.
• Comunicación con entrenadores y QA: Actualizar a entrenadores y QAs en Discord sobre nuevas pautas de elementos, cambios del proyecto, actualizaciones de flujos de trabajo, expectativas de calidad y estándares de revisión específicos de red-teaming.
• Gestión de preguntas: Responder preguntas de entrenadores/QA de manera clara y oportuna, especialmente sobre categorías de riesgo, estrategia adversarial, límites de políticas, casos límite, severidad e interpretación de rúbricas.
• Gestión de activación de entrenadores/QA: Enviar mensajes directos a contribuyentes inactivos o que no están trabajando, fomentar la activación, dar seguimiento y señalar problemas de disponibilidad cuando sea necesario.
• Documentación: Crear y mantener documentación de proyectos de red-teaming, incluidos guías de estilo, rastreadores, preguntas frecuentes, notas de calidad, ejemplos, honeypots, tareas de calibración y materiales de incorporación.
• Incorporación y entrenamiento: Programar y realizar llamadas de incorporación/entrenamiento con entrenadores y QAs para explicar las expectativas del proyecto, los flujos de trabajo, las rúbricas, los estándares de calidad y los requisitos de revisión específicos de red-teaming.
• Alineación de calidad: Garantizar que todos los entrenadores y QAs apliquen las pautas de red-teaming y revisión de seguridad de manera consistente y comprendan las actualizaciones a medida que evolucionan los proyectos.
• Revisión de riesgos: Señalar elementos de red-team inseguros, de baja calidad, poco realistas, inconsistentes con las políticas o insuficientemente documentados.
• Mejora de procesos: Identificar brechas de calidad recurrentes, proponer mejoras en los flujos de trabajo y ayudar a construir procesos de QA escalables para proyectos de red-teaming de IA.

Qué buscamos

• Licenciatura, Maestría o experiencia profesional en Ciencias de la Computación, Ciberseguridad, Seguridad de IA, Trust & Safety, Políticas Públicas, Psicología, Lingüística, Derecho, Estudios de Seguridad, Análisis de Riesgos o un campo relacionado.
• Sólido dominio del idioma inglés para seguir las pautas del proyecto, comunicarse con los equipos y proporcionar retroalimentación escrita clara.
• 3+ años de experiencia en seguridad de IA, red-teaming, ciberseguridad, trust and safety, políticas de contenido, análisis de riesgos, pruebas adversariales, evaluación de modelos, moderación de contenido o flujos de trabajo relacionados.
• Sólido entendimiento de categorías de riesgo de IA, prompting adversarial, patrones de jailbreak, taxonomías de contenido dañino, escenarios de uso indebido, interpretación de políticas, comportamiento de modelos y principios de evaluación de seguridad.
• Capacidad para evaluar contenido de red-teaming según rúbricas detalladas e identificar problemas como diseño adversarial débil, escenarios poco realistas, categorización deficiente de riesgos, mala interpretación de políticas, resultados inseguros o pruebas de vulnerabilidad superficiales.
• Se prefiere familiaridad con áreas como inyección de prompts, ingeniería social, abuso de ciberseguridad, fraude, seguridad contra autolesiones, contenido extremista, desinformación, riesgo de privacidad, comportamiento ilícito, sesgo y comportamiento de rechazo de modelos.
• Se prefiere fuertemente experiencia liderando o apoyando equipos remotos de red-teamers, revisores, analistas de políticas, anotadores, investigadores o QAs.
• Cómodo trabajando en entornos remotos de ritmo rápido usando herramientas como Discord, Google Sheets, Google Docs, rastreadores, paneles de control y sistemas de gestión de proyectos.
• Altamente orientado al detalle y organizado, con la capacidad de mantener guías de estilo, preguntas frecuentes, rastreadores, materiales de incorporación, tareas de calibración y documentación.
• Experiencia con entrenamiento de IA, evaluación de LLM, evaluaciones de seguridad, QA de moderación de contenido, QA de políticas o revisión basada en rúbricas es una gran ventaja.