Acerca del puesto
Descripción general del proyecto
Estamos buscando Especialistas independientes en Servicios Científicos y Técnicos para que aporten su experiencia en un proyecto de evaluación de benchmarks de IA. A medida que los modelos de IA generan cada vez más análisis científicos, informes técnicos y entregables centrados en STEM con calidad profesional, su precisión depende enteramente de datos de entrenamiento sólidos y elaborados por expertos. El objetivo de este proyecto es producir de forma autónoma tareas de evaluación de alta calidad, prompts sólidos y rúbricas claras y bien estructuradas que generen datos limpios y fiables para el entrenamiento de modelos.
Entregables y alcance del proyecto
Operar de forma autónoma para diseñar marcos de evaluación complejos y proporcionar datos de entrenamiento estructurados. Los entregables esperados incluyen:
- Creación de tareas y prompts: Generar prompts realistas y de alta calidad que obliguen al modelo de IA a producir entregables complejos y con calidad profesional específicos de la investigación científica, la ingeniería y los servicios técnicos.
- Desarrollo de rúbricas: Redactar rúbricas de evaluación claras y bien estructuradas con criterios altamente específicos, no ambiguos y fáciles de puntuar.
- Generación de datos de evaluación de benchmarks: Producir datos de entrenamiento limpios y fiables que ayuden directamente a la evaluación y el refinamiento de los modelos de IA que manejan tareas complejas relacionadas con STEM.
- Aseguramiento de la calidad y verificación de datos: Garantizar que todas las tareas generadas y los criterios de puntuación reflejen metodologías científicas estrictas y del mundo real, estándares técnicos y precisión empírica.
Experiencia requerida
Para cumplir con éxito los entregables de este proyecto, los Contratistas deben poseer un profundo conocimiento del sector para elaborar escenarios profesionales realistas.
El conjunto de habilidades principales incluye:
- Experiencia profesional demostrable en sectores científicos, de ingeniería o de servicios técnicos, con un profundo conocimiento de los estándares del sector, la terminología técnica y los entregables analíticos de alto nivel.
- Sólidas habilidades de redacción y generación de prompts, con la capacidad de diseñar escenarios de tareas STEM complejos y altamente realistas para la evaluación de IA.
- Dominio en la generación de rúbricas, concretamente la capacidad de crear criterios de puntuación objetivos y no ambiguos que no dejen margen a la interpretación subjetiva.
- Un enfoque meticuloso y orientado al detalle para la verificación de literatura científica avanzada, la interpretación de datos y las especificaciones técnicas, con el fin de generar datos fiables para la evaluación comparativa de sistemas.
Ofrecemos un rango salarial de $10 a $30 por hora, y la tarifa exacta se determina tras evaluar tu experiencia, tus conocimientos y tu ubicación geográfica. Los importes finales de la oferta pueden variar respecto al rango salarial indicado anteriormente. Como contratista, deberás disponer de un ordenador seguro e internet de alta velocidad; los beneficios patrocinados por la empresa, como el seguro de salud y las vacaciones pagadas (PTO), no aplican.
Tipo de contratación: Freelance / Contratista independiente
Modalidad de trabajo: Remoto