Acerca del puesto
En este rol de contratista remoto por horas, trabajarás como Líder de Aseguramiento de Calidad (QAL) en Neurociencia / Ciencia Cognitiva para supervisar la calidad, la consistencia y el desempeño de los entrenadores en proyectos de entrenamiento de IA en neurociencia y ciencia cognitiva. Revisarás contenido de neurociencia/ciencia cognitiva generado por IA y el trabajo de entrenadores/QA, evaluarás la calidad de los resultados frente a las directrices del proyecto, proporcionarás retroalimentación escrita precisa y garantizarás que todos los colaboradores cumplan con los estándares de calidad esperados.
Evaluarás el trabajo en cuanto a precisión científica, precisión conceptual, alfabetización investigadora, comprensión de métodos experimentales, razonamiento cerebro-conducta, cautela estadística, conciencia ética, claridad, formato, seguimiento de instrucciones y adherencia a las rúbricas específicas del proyecto. Detectarás problemas de calidad recurrentes, comunicarás actualizaciones a entrenadores y QAs, apoyarás la incorporación, mantenerás documentación y ayudarás a activar a colaboradores que no están trabajando de manera constante. Este rol requiere una sólida experiencia en neurociencia/ciencia cognitiva, sólidas habilidades de comunicación en inglés, excelente atención al detalle, comunicación estructurada y la capacidad de gestionar flujos de trabajo de calidad en equipos remotos de expertos.
Este rol es con SME Careers, una empresa de servicios de datos de IA en rápido crecimiento y subsidiaria de SuperAnnotate, que entrega datos de entrenamiento para muchas de las empresas de IA y laboratorios de modelos fundacionales más grandes del mundo. Tu liderazgo en calidad de neurociencia/ciencia cognitiva ayudará directamente a mejorar los principales modelos de IA del mundo al garantizar que los datos de entrenamiento científico sean precisos, conscientes de la evidencia, éticamente apropiados, claramente explicados y alineados con las expectativas del cliente.
El proceso de selección incluye una entrevista con IA, una tarea específica del dominio y una entrevista con un reclutador.
Importante: No hay un proyecto inmediato para este rol; sin embargo, si calificas, estarás entre los primeros expertos a quienes contactaremos cuando surjan oportunidades relevantes. Esto también te brindará acceso a futuros proyectos disponibles a través de nuestra red de expertos.
Lo que harás
- Monitoreo de calidad: Verificar por muestreo ítems de neurociencia/ciencia cognitiva, identificar problemas de calidad, proporcionar retroalimentación continua mediante mensajes directos y escalar problemas recurrentes o críticos.
- Revisión científica: Evaluar explicaciones de neurociencia/ciencia cognitiva generadas por IA, resúmenes de investigación, interpretaciones experimentales, afirmaciones sobre cerebro-conducta, aplicaciones de teoría cognitiva y razonamiento paso a paso para verificar precisión y claridad.
- Comunicación con entrenadores y QA: Actualizar a entrenadores y QAs en Discord sobre nuevas directrices de ítems, cambios del proyecto, actualizaciones de flujos de trabajo, expectativas de calidad y estándares de revisión específicos de neurociencia/ciencia cognitiva.
- Gestión de preguntas: Responder preguntas de entrenadores/QA de manera clara y oportuna, especialmente sobre mecanismos neuronales, cognición, diseño experimental, interpretación estadística, límites éticos, cautela clínica e interpretación de rúbricas.
- Gestión de activación de entrenadores/QA: Enviar mensajes directos a colaboradores inactivos o que no están trabajando, fomentar la activación, hacer seguimiento y señalar problemas de disponibilidad cuando sea necesario.
- Documentación: Crear y mantener documentación de proyectos de neurociencia/ciencia cognitiva, incluidos guías de estilo, rastreadores, preguntas frecuentes, notas de calidad, ejemplos, honeypots, tareas de calibración y materiales de incorporación.
- Incorporación y entrenamiento: Programar y realizar llamadas de incorporación/entrenamiento con entrenadores y QAs para explicar las expectativas del proyecto, flujos de trabajo, rúbricas, estándares de calidad y requisitos de revisión específicos de neurociencia/ciencia cognitiva.
- Alineación de calidad: Garantizar que todos los entrenadores y QAs apliquen consistentemente las directrices de revisión de neurociencia/ciencia cognitiva y comprendan las actualizaciones a medida que evolucionan los proyectos.
- Revisión de seguridad y ética: Señalar afirmaciones pseudocientíficas, demasiado confiadas, clínicamente engañosas, éticamente problemáticas o no respaldadas sobre el cerebro, la cognición, la conducta o la salud mental.
- Mejora de procesos: Identificar brechas de calidad recurrentes, proponer mejoras en los flujos de trabajo y ayudar a construir procesos de QA escalables para proyectos de entrenamiento de IA en neurociencia/ciencia cognitiva.
Lo que buscamos
- Licenciatura, Maestría, Doctorado, MD/PhD o formación profesional equivalente en Neurociencia, Ciencia Cognitiva, Psicología, Neurobiología, Psicología Cognitiva, Neurociencia Computacional, investigación afín a la Neurología, Biología, Ciencias Biomédicas o un campo estrechamente relacionado.
- Sólido dominio del idioma inglés para seguir las directrices del proyecto, comunicarse con los equipos y proporcionar retroalimentación escrita clara.
- 3+ años de experiencia en investigación en neurociencia/ciencia cognitiva, docencia, trabajo de laboratorio, revisión académica, comunicación científica, diseño experimental, análisis de datos o flujos de trabajo científicos relacionados.
- Sólida comprensión de sistemas neuronales, cognición, percepción, atención, memoria, aprendizaje, lenguaje, toma de decisiones, neuroanatomía, señalización neuronal, métodos de investigación y relaciones cerebro-conducta.
- Capacidad para evaluar contenido de neurociencia/ciencia cognitiva frente a rúbricas detalladas e identificar problemas como neuromitos, exceso de afirmaciones, conclusiones causales no respaldadas, interpretación defectuosa de estudios, terminología incorrecta, pseudociencia o implicaciones clínicas engañosas.
- Se prefiere familiaridad con herramientas o métodos como EEG, fMRI, experimentos conductuales, modelado computacional, evaluación neuropsicológica, estadística, Python/R/MATLAB, tareas cognitivas o revisión de literatura.
- Se prefiere fuertemente experiencia liderando o apoyando equipos remotos de investigadores, revisores, educadores, anotadores, redactores científicos o QAs.
- Cómodo trabajando en entornos remotos de ritmo rápido utilizando herramientas como Discord, Google Sheets, Google Docs, rastreadores, paneles de control y sistemas de gestión de proyectos.
- Altamente orientado al detalle y organizado, con la capacidad de mantener guías de estilo, preguntas frecuentes, rastreadores, materiales de incorporación, tareas de calibración y documentación.
- Experiencia con entrenamiento de IA, anotación de datos, evaluación de LLM, QA científico, revisión académica, revisión de contenido de psicología/neurociencia o revisión basada en rúbricas es una gran ventaja.