Acerca del puesto
En este puesto de contratista remoto por horas, trabajarás como experto en la materia (SME) de STEM y técnico para crear preguntas desafiantes de nivel experto, evaluar contenido técnico generado por IA y diseñar rúbricas detalladas que definan qué debe contener una respuesta correcta, rigurosa y de calidad experta.
Desarrollarás problemas dentro de tu área de especialización que evalúen razonamiento avanzado en lugar de simple recuerdo de hechos. Identificarás debilidades en modelos de IA de frontera, incluidas suposiciones incorrectas, razonamiento incompleto, errores matemáticos o científicos, casos límite no considerados y respuestas que parecen plausibles pero fallan bajo el escrutinio de un experto.
Un enfoque importante de este puesto es el diseño y la redacción de rúbricas. Traducirás juicios técnicos complejos en criterios de evaluación claros, específicos y medibles, incluidos conceptos requeridos, pasos de razonamiento, enfoques alternativos aceptables, errores críticos y consideraciones de puntuación parcial. También podrás criticar y mejorar rúbricas desarrolladas por otros expertos.
Este puesto es con SME Careers, una empresa de servicios de datos de IA en rápido crecimiento y subsidiaria de SuperAnnotate, que proporciona datos de entrenamiento para muchas de las empresas de IA más grandes del mundo y laboratorios de modelos fundacionales. Tu experiencia técnica ayuda directamente a mejorar los principales modelos de IA del mundo haciendo que su razonamiento sea más preciso, riguroso y confiable.
Lo que harás
- Crear preguntas técnicas de nivel experto: Desarrollar preguntas difíciles que evalúen razonamiento técnico genuino y expongan debilidades en sistemas avanzados de IA.
- Diseñar rúbricas de evaluación: Redactar criterios estructurados que definan qué debe contener una respuesta correcta, rigurosa y completa.
- Definir estándares de puntuación parcial: Identificar pasos de razonamiento esenciales, alternativas aceptables, errores menores y fallos críticos.
- Evaluar soluciones generadas por IA: Evaluar los resultados en cuanto a corrección, calidad del razonamiento, exhaustividad, metodología y precisión técnica.
- Identificar errores de razonamiento ocultos: Detectar casos en los que una respuesta llega a la conclusión correcta utilizando suposiciones inválidas o lógica defectuosa.
- Criticar rúbricas de pares: Revisar los criterios de otros expertos en cuanto a precisión técnica, claridad, exhaustividad y consistencia de la puntuación.
- Desarrollar contenido de referencia: Producir respuestas de expertos, explicaciones, críticas y otro contenido de referencia de máxima calidad.
- Apoyar el entrenamiento de IA: Crear preguntas, rúbricas, evaluaciones, juicios de preferencia y pares de respuesta de referencia adecuados para flujos de trabajo de RL y SFT.
- Mantener el rigor técnico: Asegurar que el contenido refleje estándares profesionales o académicos apropiados dentro de la disciplina correspondiente.
Lo que buscamos
- Título de grado o superior en Matemáticas, Física, Química, Ingeniería, Ciencias de la Computación, Estadística, Ciencias Aplicadas u otra disciplina técnica.
- Sólida competencia profesional en inglés, mínimo C1, con la capacidad de redactar explicaciones técnicas precisas y criterios de evaluación.
- 3+ años de experiencia profesional, académica, de investigación o de industria en tu dominio técnico declarado.
- Experiencia avanzada demostrada en un campo o especialización técnica claramente definida.
- Capacidad para crear preguntas técnicas desafiantes que requieran razonamiento de varios pasos, experiencia en el dominio o juicio profesional.
- Fuerte capacidad para diseñar rúbricas de evaluación detalladas que definan el razonamiento requerido, la metodología correcta, las alternativas aceptables, los criterios de puntuación parcial y los errores críticos.
- Capacidad para distinguir entre una respuesta final correcta y una respuesta respaldada por razonamiento válido frente a uno defectuoso.
- Cómodo revisando y criticando las rúbricas de otros expertos en busca de ambigüedad, criterios faltantes, redundancia, inexactitudes técnicas o un mal diseño de puntuación.
- Gran atención al detalle al evaluar fórmulas, suposiciones, unidades, metodología, casos límite, consistencia lógica y terminología técnica.
- Se valora especialmente la experiencia en redacción de exámenes, calificación académica, revisión por pares, revisión de investigación, QA técnico, desarrollo de estándares o diseño de evaluaciones.
- Se valora la experiencia previa en evaluación de IA, RLHF, SFT, benchmarking, anotación de datos, diseño de prompts o evaluación de LLM.
- Confiable, autónomo y capaz de ofrecer una calidad constante en un flujo de trabajo de contratista remoto por horas.