Acerca del puesto
Acerca de Turing
Turing es una de las empresas de IA de más rápido crecimiento del mundo y acelera el avance y el despliegue de sistemas de IA potentes. Turing ayuda a los principales laboratorios de IA a mejorar las capacidades de razonamiento, resolución de problemas y toma de decisiones de los grandes modelos de lenguaje (LLM) mediante retroalimentación humana, evaluación y datos de entrenamiento de alta calidad.
Descripción del puesto
Buscamos expertos en razonamiento de juegos de mesa para ayudar a entrenar y evaluar los modelos de IA de próxima generación. En este puesto, aprovechará su experiencia en juegos de mesa, mecánicas de juego, razonamiento estratégico, probabilidad y sistemas de reglas complejos para crear, revisar y evaluar conjuntos de datos de alta calidad que mejoren el rendimiento de la IA.
Trabajará en tareas desafiantes que involucran lógica de juego, toma de decisiones, planificación estratégica, interpretación de reglas y análisis de escenarios, y ayudará a que los sistemas de IA de frontera desarrollen capacidades de razonamiento más sólidas.
¿Cómo es el día a día?
- Crear y revisar tareas de razonamiento basadas en juegos, diseñadas para evaluar sistemas de IA.
- Analizar escenarios de juegos de mesa, árboles de decisión estratégicos y sistemas basados en reglas.
- Evaluar las respuestas generadas por IA en cuanto a corrección, coherencia y calidad del razonamiento.
- Desarrollar prompts, rúbricas y directrices de evaluación para tareas centradas en juegos de mesa y estrategia.
- Identificar errores lógicos, violaciones de reglas y razonamientos defectuosos en los resultados de la IA.
- Contribuir a la creación de benchmarks y a los procesos de aseguramiento de la calidad en proyectos de evaluación de IA.
- Colaborar con los equipos del proyecto para mejorar la calidad de los conjuntos de datos y las metodologías de evaluación.
Requisitos
Cualificaciones obligatorias
- Licenciatura en Informática, Matemáticas, Ciencias Cognitivas, Diseño de Juegos, Filosofía, Economía o un campo analítico afín.
- 2+ años de experiencia profesional o semiprofesional en diseño de juegos de mesa, pruebas de juego (playtesting), comunidades de juegos de mesa o entornos afines centrados en la estrategia.
- Sólida comprensión de la lógica, el razonamiento probabilístico, las mecánicas de juego y los sistemas de reglas complejos.
- Formación en teoría de juegos, economía conductual, ciencia de la decisión o lógica formal.
- Familiaridad con juegos de mesa modernos, juegos de cartas coleccionables (TCG), juegos de rol de mesa, juegos de estrategia o sistemas de juego competitivos.
- Sólidas habilidades analíticas y de resolución de problemas.
- Excelentes habilidades de comunicación escrita.
Cualificaciones preferidas
- Experiencia previa en anotación de datos, entrenamiento de IA, ingeniería de prompts, control de calidad (QA), diseño de juegos, diseño de acertijos o análisis de sistemas basados en reglas.
- Experiencia en la creación de rúbricas de evaluación, conjuntos de datos de benchmark o marcos de aseguramiento de la calidad.
- Experiencia con Python, SQL o herramientas de análisis de datos.
- Experiencia en proyectos de RLHF, evaluación de modelos, generación de datos sintéticos o benchmarking de LLM.
- Familiaridad con juegos de estrategia o de mesa lanzados recientemente y capacidad para aprender rápidamente nuevos sistemas de reglas.
Ventajas de trabajar como freelance con Turing
- Trabajo en un entorno totalmente remoto.
- Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes en LLM.
Detalles de la oferta
- Compromisos requeridos: al menos 4 horas por día y un mínimo de 20 horas por semana, con una superposición de 4 horas con PST.
- Tipo de contratación : asignación como contratista (sin licencia médica ni remunerada)
- Duración del contrato : 2 meses; [la fecha de inicio prevista es la próxima semana]
Proceso de evaluación
- Evaluación para realizar en casa