Evaluadores generalistas de cuentas personales (EE. UU.)

Acerca de Turing: Con sede en San Francisco, California, Turing es el principal acelerador de investigación del mundo para laboratorios de IA de vanguardia y un socio de confianza para empresas globales que implementan sistemas de IA avanzados. Turing apoya a sus clientes de dos maneras: primero, acelerando la investigación de vanguardia con datos de alta calidad, pipelines de entrenamiento avanzados y los mejores investigadores de IA especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA de una prueba de concepto en inteligencia propia, con sistemas que funcionan de forma fiable, ofrecen un impacto medible y generan resultados duraderos en la cuenta de resultados (P&L).

Descripción del puesto:

Buscamos evaluadores generalistas ubicados en EE. UU. para participar en las evaluaciones de personalización de Gemini (Gemini Personalization Evals). En este puesto, los evaluadores realizarán tareas de evaluación generalista con prompts personalizados diseñados para recuperar contexto y datos de las aplicaciones de Google conectadas.

Cualificaciones clave:

• Ubicación: Debe residir actualmente en Estados Unidos.
• Conectividad de aplicaciones: Debe estar dispuesto y ser capaz de conectar sus aplicaciones de Google (p. ej., Gmail, Google Fotos, Google Calendar, Google Drive, etc.) a Gemini para respaldar la recuperación de datos y las evaluaciones de prompts personalizados.
• Alcance del puesto: Realizar tareas generalistas de valoración y evaluación, analizando el rendimiento del modelo, la recuperación de contexto y la calidad de las respuestas en las aplicaciones conectadas.
• Actividad de la cuenta: Uso activo de las aplicaciones estándar de Google Workspace o de consumo, con datos e historial personales suficientes para generar y evaluar prompts de recuperación.
• Pensamiento analítico excepcional: Capacidad para evaluar respuestas de IA matizadas e identificar los puntos fuertes y débiles de la calidad de la personalización.
• Atención al detalle: Gran capacidad para revisar las respuestas generadas por IA e identificar problemas o incoherencias sutiles.
• Comunicación: Excelentes habilidades de comunicación escrita para ofrecer comentarios de evaluación claros y estructurados.
• Independencia: Automotivado y capaz de trabajar de forma independiente en un entorno remoto.
• Configuración técnica: Ordenador de sobremesa o portátil con una conexión a internet fiable.

Descripción:

En este puesto formará parte de un equipo responsable de evaluar la calidad de las interacciones personalizadas con IA para usuarios empresariales. Sus responsabilidades diarias incluirán:

• Evaluar las respuestas generadas por IA a partir de su historial de correo electrónico profesional y de la actividad de su cuenta empresarial.
• Valorar si las respuestas son relevantes, precisas, útiles y están personalizadas de forma adecuada.
• Identificar problemas relacionados con una personalización incorrecta, suposiciones sin fundamento o recomendaciones irrelevantes.
• Comparar varias respuestas de IA y determinar cuál ofrece la mejor experiencia de usuario en conjunto.
• Ofrecer comentarios de evaluación claros, detallados y bien argumentados para respaldar las mejoras del modelo.
• Seguir las directrices del proyecto para garantizar evaluaciones coherentes, precisas y de alta calidad.
• Mantener la privacidad de los datos y cumplir todos los requisitos de confidencialidad del proyecto durante todo el proceso de evaluación.

Formación y experiencia

• Título universitario o experiencia práctica equivalente en cualquier campo.
• Se prefiere, aunque no es obligatoria, experiencia en evaluación de IA, anotación de datos, revisión de contenido, control de calidad o un puesto analítico afín.

Detalles de la oferta:

• Dedicación requerida: al menos 4 horas al día y hasta 40 horas por semana, con 4 horas de solapamiento con el horario PST.
• Tipo de contratación: Contratista
• Duración del contrato: hasta 16 semanas

Proceso de evaluación -

• A los candidatos preseleccionados se les enviará un Formulario de interés en el puesto.
• Los candidatos finalmente seleccionados serán contactados con los siguientes pasos, incluidos los requisitos de consentimiento e incorporación.

Consentimiento y cumplimiento:

Debe estar dispuesto a conceder los permisos de integración de aplicaciones necesarios para el proyecto y a completar todos los formularios de consentimiento y acuerdos de confidencialidad estándar.