Acerca del puesto
Descripción general del proyecto
Estamos buscando Especialistas en Información independientes para que aporten su experiencia en un proyecto de evaluación de benchmarks de IA. A medida que los modelos de IA generan cada vez más estrategias de gestión de datos, sistemas de recuperación de información y entregables de arquitectura de contenido de nivel profesional, su precisión depende enteramente de datos de entrenamiento sólidos y elaborados por expertos. El objetivo de este proyecto es producir de forma autónoma tareas de evaluación de alta calidad, prompts sólidos y rúbricas claras y bien estructuradas que generen datos limpios y fiables para el entrenamiento de modelos.
Entregables y alcance del proyecto
Operar de forma autónoma para diseñar marcos de evaluación complejos y proporcionar datos de entrenamiento estructurados. Los entregables esperados incluyen:
- Creación de tareas y prompts: Generar prompts realistas y de alta calidad que obliguen al modelo de IA a producir entregables complejos y de nivel profesional específicos de la ciencia de la información, la gestión de datos y la organización del conocimiento.
- Desarrollo de rúbricas: Redactar rúbricas de evaluación claras y bien estructuradas con criterios altamente específicos, no ambiguos y fáciles de puntuar.
- Generación de datos de evaluación de benchmarks: Producir datos de entrenamiento limpios y fiables que ayuden directamente en la evaluación y el refinamiento de modelos de IA que manejan tareas complejas de arquitectura de la información y recuperación.
- Aseguramiento de la calidad y verificación de hechos: Garantizar que todas las tareas generadas y los criterios de puntuación reflejen estándares estrictos de gobernanza de datos del mundo real, metodologías de investigación y mejores prácticas de gestión de la información.
Experiencia requerida
Para cumplir con éxito los entregables de este proyecto, los Contratistas deben poseer un profundo conocimiento del sector para elaborar escenarios profesionales realistas.
El conjunto de habilidades principales incluye:
- Experiencia profesional demostrable dentro de los sectores de la ciencia de la información, la biblioteconomía, la gobernanza de datos o la gestión del conocimiento, con un profundo entendimiento de los estándares del sector, los esquemas de metadatos y las metodologías de búsqueda.
- Sólidas habilidades de redacción y generación de prompts, con la capacidad de diseñar escenarios de tareas de recuperación de información altamente realistas y complejos para la evaluación de IA.
- Dominio en la generación de rúbricas, específicamente la capacidad de crear criterios de puntuación objetivos y no ambiguos que no dejen lugar a interpretaciones subjetivas.
- Un enfoque meticuloso y orientado al detalle para la verificación de arquitecturas de datos, mecánicas de búsqueda y bases de conocimiento, con el fin de generar datos fiables para el benchmarking de sistemas.
Ofrecemos un rango de pago de $10 a $30 por hora, con la tarifa exacta determinada tras evaluar tu experiencia, especialización y ubicación geográfica. Los importes finales de la oferta pueden variar respecto al rango de pago indicado anteriormente. Como contratista, deberás disponer de un ordenador seguro e internet de alta velocidad; los beneficios patrocinados por la empresa, como el seguro de salud y las vacaciones remuneradas (PTO), no aplican.
Tipo de contratación: Freelance / Contratista Independiente
Tipo de puesto: Remoto