Acerca del puesto
Título del puesto: Entrenador de IA sénior
Tipo de puesto: Contratista, Remoto
Ubicación: Norteamérica y Alemania.
micro1 está contratando a entrenadores de IA sénior para colaborar en un proyecto impulsado por un cliente que mejora la calidad de los sistemas de IA mediante el entrenamiento y la evaluación de modelos de nivel experto. En este puesto, aplicará su experiencia generalista y su experiencia práctica con productos de IA para ayudar a entrenar sistemas de IA de última generación. Su trabajo determinará cómo los modelos aprenden, razonan y se desempeñan a partir de aportaciones reales y de alta calidad.
Responsabilidades principales:
- Evaluar el desempeño de las herramientas de chat y búsqueda con IA en condiciones estandarizadas y repetibles.
- Aplicar directrices de calificación detalladas para evaluar, clasificar y anotar con precisión las respuestas de los modelos, ofreciendo comentarios estructurados que mejoren el desempeño del modelo.
- Redactar, perfeccionar y someter a pruebas de estrés prompts que sondeen las capacidades del modelo, garantizando la cobertura de diversos escenarios, casos límite e intenciones del usuario.
- Verificar la coherencia y la exactitud en todas las evaluaciones, corrigiendo las discrepancias entre las calificaciones y la rúbrica o las directrices subyacentes.
- Utilizar herramientas y plataformas de entrenamiento de IA para registrar los hallazgos y enviar conjuntos de datos de evaluación conforme a los estándares y los hitos del proyecto.
- Colaborar con los entrenadores y colaboradores del proyecto para resolver ambigüedades, perfeccionar las directrices y garantizar la coherencia de las evaluaciones en todo el equipo.
- Participar en revisiones de calidad continuas, incorporando los comentarios para mantener estándares rigurosos de entrenamiento y anotación.
Habilidades y cualificaciones requeridas:
- Atención al detalle y exactitud excepcionales al revisar y evaluar contenido generado por IA.
- Sólidas habilidades de comunicación escrita y oral para una colaboración eficaz, la elaboración de informes y las actualizaciones oportunas sobre el progreso y los desafíos.
- Capacidad demostrada de gestión del tiempo y autoorganización para participar en proyectos de forma independiente y remota.
- Mentalidad analítica y orientada a la resolución de problemas, con un enfoque proactivo para resolver los desafíos de evaluación.
Cualificaciones preferidas:
- Experiencia comprobada en entrenamiento de modelos de IA, RLHF, etiquetado de datos o proyectos de evaluación centrados en datos similares.
- Familiaridad con productos y herramientas de IA, incluidas la ingeniería de prompts y la comprensión del comportamiento y las limitaciones de los modelos.
- Experiencia en la redacción de rúbricas de evaluación, la calificación de resultados de modelos o la revisión de respuestas de IA en cuanto a exactitud, utilidad y seguridad.
- Formación en entrenamiento de IA, preparación de datos de aprendizaje automático o proyectos centrados en LLM (se prefiere especialmente).