Acerca del puesto
En este puesto de contratista remoto por horas, trabajarás como Experto en la Materia (SME) de Salud para crear preguntas sanitarias desafiantes de nivel experto, evaluar contenido clínico generado por IA y diseñar rúbricas de alta calidad que definan qué debe contener una respuesta precisa, completa y profesionalmente adecuada.
Utilizarás tu experiencia clínica o profesional para identificar áreas en las que los modelos de IA de frontera pueden ofrecer respuestas incompletas, inexactas, mal razonadas, excesivamente seguras de sí mismas o clínicamente inadecuadas. Redactarás preguntas especializadas dentro de tu campo, desarrollarás criterios de puntuación detallados, criticarás rúbricas creadas por otros profesionales de la salud y proporcionarás comentarios escritos precisos.
Un enfoque importante de este puesto es el diseño de rúbricas y la evaluación experta. Definirás conceptos clínicos esenciales, pasos de razonamiento, advertencias relevantes, enfoques alternativos aceptables, omisiones significativas y errores críticos que distinguen las respuestas superficiales de las respuestas de nivel experto.
Este puesto es en SME Careers, una empresa de rápido crecimiento de Servicios de Datos de IA y subsidiaria de SuperAnnotate, que proporciona datos de entrenamiento para muchas de las mayores empresas de IA del mundo y laboratorios de modelos fundacionales. Tu experiencia en salud ayuda directamente a mejorar los principales modelos de IA del mundo haciendo que sus respuestas sean más precisas, clínicamente adecuadas, rigurosas y fiables.
Qué harás
- Crear preguntas sanitarias de nivel experto: Desarrollar preguntas especializadas capaces de exponer limitaciones en sistemas avanzados de IA.
- Diseñar rúbricas detalladas: Definir los componentes necesarios para una respuesta precisa, completa y clínicamente adecuada.
- Identificar criterios críticos: Distinguir el razonamiento clínico esencial de la información complementaria.
- Evaluar respuestas de IA: Valorar los resultados del modelo en cuanto a exactitud fáctica, razonamiento, seguridad, exhaustividad y calidad profesional.
- Identificar fallos sutiles: Detectar consideraciones ausentes, suposiciones no respaldadas, certeza inapropiada y omisiones clínicamente importantes.
- Criticar rúbricas de colegas: Identificar ambigüedad, redundancia, expectativas incorrectas, criterios faltantes o un diseño de puntuación deficiente.
- Desarrollar respuestas de referencia: Producir ejemplos expertos, explicaciones, críticas y contenido de referencia.
- Apoyar el entrenamiento de IA: Generar preguntas, rúbricas, evaluaciones, críticas y pares de respuestas de referencia para flujos de trabajo de RL y SFT.
- Mantener la calidad clínica: Garantizar que el contenido refleje terminología adecuada, razonamiento profesional y juicio basado en la evidencia.
Qué buscamos
- Título profesional, licencia, credencial o cualificación reconocida en medicina, odontología, farmacia, enfermería u otra disciplina sanitaria.
- Sólido dominio profesional del inglés, mínimo C1.
- 3+ años de experiencia profesional o clínica; se valoran especialmente los profesionales de nivel sénior y especialista.
- Experiencia demostrada en una especialidad o subespecialidad claramente definida.
- Capacidad para desarrollar preguntas clínicas o profesionales desafiantes que requieran verdadera experiencia y un juicio matizado.
- Gran capacidad para redactar rúbricas de evaluación detalladas que definan hechos requeridos, pasos de razonamiento, advertencias, alternativas aceptables y errores clínicos críticos.
- Capacidad para distinguir entre omisiones menores y errores que afectan materialmente a la calidad o seguridad clínica.
- Cómodo revisando y criticando rúbricas creadas por otros profesionales de la salud.
- Capacidad para evaluar los resultados de IA en cuanto a exactitud, exhaustividad, calidad del razonamiento, seguridad, calibración y relevancia clínica.
- Se valora especialmente la experiencia en educación médica, elaboración de exámenes, evaluación de competencias, guías clínicas, docencia, revisión por pares o garantía de calidad.
- Se valora la experiencia previa en evaluación de IA, RLHF, SFT, anotación de datos, evaluación comparativa de modelos o puntuación basada en rúbricas.
- Fiable, autónomo y capaz de producir trabajo escrito consistente.