Acerca del puesto
Acerca de Turing: Con sede en San Francisco, California, Turing es el principal acelerador de investigación del mundo para los laboratorios de IA de vanguardia y un socio de confianza de empresas globales que implementan sistemas de IA avanzados. Turing apoya a sus clientes de dos maneras: primero, acelerando la investigación de vanguardia con datos de alta calidad, canalizaciones de entrenamiento avanzadas e investigadores de IA de primer nivel especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA de una prueba de concepto en inteligencia propia, con sistemas que funcionan de manera fiable, generan un impacto medible e impulsan resultados duraderos en la cuenta de resultados (P&L).
Descripción del puesto:
Buscamos evaluadores generalistas radicados en EE. UU. para participar en Gemini Personalization Evals. En este puesto, los evaluadores realizarán trabajos de evaluación generalista mediante prompts personalizados diseñados para recuperar contexto y datos de distintas aplicaciones de Google conectadas.
Cualificaciones clave:
- Ubicación: Debe residir actualmente en Estados Unidos.
- Conectividad de aplicaciones: Debe estar dispuesto y poder conectar sus aplicaciones de Google (p. ej., Gmail, Google Fotos, Google Calendar, Google Drive, etc.) a Gemini para respaldar la recuperación de datos y las evaluaciones de prompts personalizados.
- Alcance del puesto: Realizar tareas de calificación y evaluación generalista, valorando el desempeño del modelo, la recuperación de contexto y la calidad de las respuestas en las aplicaciones conectadas.
- Actividad de la cuenta: Uso activo de las aplicaciones estándar de Google Workspace/de consumo, con suficientes datos/historial personales para generar y evaluar prompts de recuperación.
- Pensamiento analítico excepcional: Capacidad para evaluar respuestas de IA matizadas e identificar los puntos fuertes y débiles de la calidad de la personalización.
- Atención al detalle: Gran capacidad para revisar las respuestas generadas por IA e identificar problemas o incoherencias sutiles.
- Comunicación: Excelentes habilidades de comunicación escrita para dar retroalimentación de evaluación clara y estructurada.
- Independencia: Automotivación y capacidad para trabajar de forma independiente en un entorno remoto.
- Configuración técnica: Computadora de escritorio o portátil con una conexión a internet fiable.
Descripción:
En este puesto formará parte de un equipo responsable de evaluar la calidad de las interacciones personalizadas de IA para usuarios empresariales. Sus responsabilidades diarias incluirán:
- Evaluar las respuestas generadas por IA a partir de su historial de correo profesional y de la actividad de su cuenta empresarial.
- Valorar si las respuestas son relevantes, exactas, útiles y están personalizadas de forma adecuada.
- Identificar problemas relacionados con una personalización incorrecta, suposiciones sin fundamento o recomendaciones irrelevantes.
- Comparar varias respuestas de IA y determinar cuál ofrece la mejor experiencia de usuario en general.
- Dar retroalimentación de evaluación clara, detallada y bien argumentada para respaldar las mejoras del modelo.
- Seguir las directrices del proyecto para garantizar evaluaciones coherentes, exactas y de alta calidad.
- Mantener la privacidad de los datos y cumplir todos los requisitos de confidencialidad del proyecto durante todo el proceso de evaluación.
Formación y experiencia
- Licenciatura o experiencia práctica equivalente en cualquier campo.
- Se prefiere, pero no se exige, experiencia en evaluación de IA, anotación de datos, revisión de contenido, aseguramiento de la calidad o un puesto analítico afín.
Detalles de la oferta:
- Compromisos requeridos: al menos 4 horas al día y hasta 40 horas por semana, con 4 horas de superposición con la hora del Pacífico (PST).
- Tipo de contratación: Contratista
- Duración de la colaboración: hasta 16 semanas
Proceso de evaluación -
- A los candidatos preseleccionados se les enviará un formulario de interés en el puesto.
- Se contactará con los candidatos finalmente seleccionados para comunicarles los siguientes pasos, incluidos los requisitos de consentimiento e incorporación.
Consentimiento y cumplimiento:
Debe estar dispuesto a conceder los permisos de integración de aplicaciones necesarios para el proyecto y a completar todos los formularios de consentimiento estándar y los acuerdos de confidencialidad.