Analista de calidad de IA (personalización) - ruso

Acerca de Turing: Con sede en San Francisco, California, Turing es el principal acelerador de investigación del mundo para los laboratorios de IA de frontera y un socio de confianza para empresas globales que implementan sistemas de IA avanzados. Turing apoya a sus clientes de dos maneras: primero, acelerando la investigación de frontera con datos de alta calidad, canalizaciones de entrenamiento avanzadas y los mejores investigadores de IA, especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA de una prueba de concepto en inteligencia propia, con sistemas que funcionan de manera confiable, generan un impacto medible e impulsan resultados duraderos en el P&L.

Descripción del puesto:

Como analista de calidad de IA, evaluará una nueva función de personalización para Gemini. Evaluará qué tan bien el modelo utiliza la información de sus conversaciones anteriores de Gemini, Gmail, Búsqueda de Google y su actividad en YouTube para que las respuestas sean más relevantes y útiles. Este puesto requiere una combinación única de creatividad y rigor analítico. Diseñará activamente prompts desde la perspectiva de sus propias experiencias personales. Luego utilizará sus habilidades analíticas para evaluar la calidad de las respuestas personalizadas del modelo, valorando dimensiones como la fundamentación, la integración y la utilidad.

Cualificaciones clave

• Dominio del ruso: capacidad para leer y escribir en ruso con un alto grado de comprensión, ya que el ruso es el idioma central de este proyecto.
• Uso de cuenta personal: disposición para usar su cuenta personal principal de Google (no una cuenta de prueba) y habilitar las fuentes de datos personales para una evaluación genuina.
• Flexibilidad de horario: se requiere disponibilidad de tiempo completo en su zona horaria local. Estamos formando un equipo de operaciones global de 24 horas.
• Pensamiento analítico excepcional: capacidad demostrada para evaluar respuestas de IA matizadas y ambiguas, valorando específicamente la calidad de la personalización.
• Ingeniería de prompts creativa: experiencia en el diseño de prompts iniciales creativos y de varios turnos basados en el contexto personal para probar a fondo las capacidades del modelo.
• Gran agudeza de evaluación: comprensión de los conceptos de personalización, incluida la capacidad de identificar personalización incorrecta, inferencias deficientes y conexiones forzadas.
• Atención meticulosa al detalle: capacidad para revisar respuestas de modelos lado a lado (SxS) y detectar diferencias sutiles en naturalidad y sobrenarración.
• Excelente comunicación escrita: capacidad superior para redactar justificaciones claras, concisas y estructuradas de las clasificaciones de los modelos, haciendo referencia explícita a números de turno específicos.
• Retroalimentación: capacidad para dar retroalimentación constructiva y anotaciones detalladas.
• Comunicación: excelentes habilidades de comunicación y colaboración.
• Independencia: automotivación y capacidad para trabajar de forma independiente en un entorno remoto.
• Configuración técnica: computadora de escritorio/portátil configurada con una buena conexión a internet.

Descripción:

• En este puesto formará parte de un equipo dinámico centrado en evaluar la calidad de las interacciones personalizadas con IA. Su trabajo diario incluirá:
• Diseñar y ejecutar prompts conversacionales de varios turnos (normalmente 1-5 turnos) que requieran que la IA utilice su información y experiencias personales.
• Evaluar las respuestas del modelo en función de su intención en el prompt inicial, comprobando si la personalización se aplicó de manera adecuada.
• Analizar las respuestas en busca de problemas de fundamentación, asegurándose de que las afirmaciones sobre usted estén respaldadas por evidencia y no sean inferencias erróneas o alucinaciones.
• Evaluar la calidad de la integración para garantizar que los datos personales se incorporen de forma natural en la respuesta, sin una "sobrenarración" robótica.
• Evaluar rigurosamente y clasificar dos respuestas del modelo lado a lado (SxS) para determinar cuál es, en general, más útil, fácil de usar y agradable.
• Redactar justificaciones claras y defendibles de sus comparaciones, haciendo referencia explícita a dónde ocurrieron los problemas o los aspectos positivos en la conversación.
• Extraer y verificar la "Debug Info" del modelo para confirmar que los resúmenes del chat y las fuentes de datos se utilizaron correctamente.
• Mantener una estricta higiene de datos eliminando las conversaciones de evaluación para evitar que contaminen su historial de chat futuro.

Formación y experiencia

• Licenciatura (BS/BA) o experiencia equivalente en un campo relevante (p. ej., Políticas, Derecho, Ética, Lingüística, Periodismo, Informática o un campo analítico afín).
• Se prefiere firmemente experiencia en anotación de datos, evaluación de calidad de IA, moderación de contenido o un puesto afín.

Detalles de la oferta:

• Compromisos requeridos: al menos 4 horas por día y hasta 40 horas por semana, con 4 horas de superposición con PST.
• Tipo de contratación: contratista
• Duración del contrato: 3 meses
• Nuestra tarifa ofrecida para este proyecto es de $15 por hora.

Proceso de evaluación -

• A los candidatos preseleccionados se les enviará un formulario de interés en el puesto.
• Tras la revisión del perfil, se compartirá una evaluación que deberá completarse en un plazo de 24 horas.
• En función de los resultados de la evaluación, se contactará a los candidatos preseleccionados para tratar los requisitos previos a la incorporación.