Entrenador de IA sénior

Título del puesto: Entrenador de IA sénior

Tipo de puesto: Contratista, Remoto

Ubicación: Norteamérica y Alemania.

micro1 está contratando a entrenadores de IA sénior para colaborar en un proyecto impulsado por un cliente que mejora la calidad de los sistemas de IA mediante el entrenamiento y la evaluación de modelos de nivel experto. En este puesto, aplicará su experiencia generalista y su experiencia práctica con productos de IA para ayudar a entrenar sistemas de IA de última generación. Su trabajo determinará cómo los modelos aprenden, razonan y se desempeñan a partir de aportaciones reales y de alta calidad.

Responsabilidades principales:

• Evaluar el desempeño de las herramientas de chat y búsqueda con IA en condiciones estandarizadas y repetibles.
• Aplicar directrices de calificación detalladas para evaluar, clasificar y anotar con precisión las respuestas de los modelos, ofreciendo comentarios estructurados que mejoren el desempeño del modelo.
• Redactar, perfeccionar y someter a pruebas de estrés prompts que sondeen las capacidades del modelo, garantizando la cobertura de diversos escenarios, casos límite e intenciones del usuario.
• Verificar la coherencia y la exactitud en todas las evaluaciones, corrigiendo las discrepancias entre las calificaciones y la rúbrica o las directrices subyacentes.
• Utilizar herramientas y plataformas de entrenamiento de IA para registrar los hallazgos y enviar conjuntos de datos de evaluación conforme a los estándares y los hitos del proyecto.
• Colaborar con los entrenadores y colaboradores del proyecto para resolver ambigüedades, perfeccionar las directrices y garantizar la coherencia de las evaluaciones en todo el equipo.
• Participar en revisiones de calidad continuas, incorporando los comentarios para mantener estándares rigurosos de entrenamiento y anotación.

Habilidades y cualificaciones requeridas:

• Atención al detalle y exactitud excepcionales al revisar y evaluar contenido generado por IA.
• Sólidas habilidades de comunicación escrita y oral para una colaboración eficaz, la elaboración de informes y las actualizaciones oportunas sobre el progreso y los desafíos.
• Capacidad demostrada de gestión del tiempo y autoorganización para participar en proyectos de forma independiente y remota.
• Mentalidad analítica y orientada a la resolución de problemas, con un enfoque proactivo para resolver los desafíos de evaluación.

Cualificaciones preferidas:

• Experiencia comprobada en entrenamiento de modelos de IA, RLHF, etiquetado de datos o proyectos de evaluación centrados en datos similares.
• Familiaridad con productos y herramientas de IA, incluidas la ingeniería de prompts y la comprensión del comportamiento y las limitaciones de los modelos.
• Experiencia en la redacción de rúbricas de evaluación, la calificación de resultados de modelos o la revisión de respuestas de IA en cuanto a exactitud, utilidad y seguridad.
• Formación en entrenamiento de IA, preparación de datos de aprendizaje automático o proyectos centrados en LLM (se prefiere especialmente).