Acerca del puesto
Acerca de Turing: Con sede en San Francisco, California, Turing es el principal acelerador de investigación del mundo para los laboratorios de IA de frontera y un socio de confianza para empresas globales que implementan sistemas de IA avanzados. Turing apoya a sus clientes de dos maneras: primero, acelerando la investigación de frontera con datos de alta calidad, canalizaciones de entrenamiento avanzadas y los mejores investigadores de IA, especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA de una prueba de concepto en inteligencia propia, con sistemas que funcionan de manera confiable, generan un impacto medible e impulsan resultados duraderos en el P&L.
Descripción del puesto:
Como analista de calidad de IA, evaluará una nueva función de personalización para Gemini. Evaluará qué tan bien el modelo utiliza la información de sus conversaciones anteriores de Gemini, Gmail, Búsqueda de Google y su actividad en YouTube para que las respuestas sean más relevantes y útiles. Este puesto requiere una combinación única de creatividad y rigor analítico. Diseñará activamente prompts desde la perspectiva de sus propias experiencias personales. Luego utilizará sus habilidades analíticas para evaluar la calidad de las respuestas personalizadas del modelo, valorando dimensiones como la fundamentación, la integración y la utilidad.
Cualificaciones clave
- Dominio del chino: capacidad para leer y escribir en chino con un alto grado de comprensión, ya que el chino es el idioma central de este proyecto.
- Ingeniería de prompts creativa: experiencia en el diseño de prompts iniciales creativos y de varios turnos basados en el contexto personal para probar a fondo las capacidades del modelo.
- Gran agudeza de evaluación: comprensión de los conceptos de personalización, incluida la capacidad de identificar personalización incorrecta, inferencias deficientes y conexiones forzadas.
- Atención meticulosa al detalle: capacidad para revisar respuestas de modelos lado a lado (SxS) y detectar diferencias sutiles en naturalidad y sobrenarración.
- Excelente comunicación escrita: capacidad superior para redactar justificaciones claras, concisas y estructuradas de las clasificaciones de los modelos, haciendo referencia explícita a números de turno específicos.
- Retroalimentación: capacidad para dar retroalimentación constructiva y anotaciones detalladas.
Descripción:
- Diseñar y ejecutar prompts conversacionales de varios turnos (normalmente 1-5 turnos) que requieran que la IA utilice su información y experiencias personales.
- Analizar las respuestas en busca de problemas de fundamentación, asegurándose de que las afirmaciones sobre usted estén respaldadas por evidencia y no sean inferencias erróneas o alucinaciones.
- Evaluar rigurosamente y clasificar dos respuestas del modelo lado a lado (SxS) para determinar cuál es, en general, más útil, fácil de usar y agradable.
- Redactar justificaciones claras y defendibles de sus comparaciones, haciendo referencia explícita a dónde ocurrieron los problemas o los aspectos positivos en la conversación.
- Extraer y verificar la "Debug Info" del modelo para confirmar que los resúmenes del chat y las fuentes de datos se utilizaron correctamente.
- Mantener una estricta higiene de datos eliminando las conversaciones de evaluación para evitar que contaminen su historial de chat futuro.
Formación y experiencia
- Licenciatura (BS/BA) o experiencia equivalente en un campo relevante (p. ej., Políticas, Derecho, Ética, Lingüística, Periodismo, Informática o un campo analítico afín).
- Se prefiere firmemente experiencia en anotación de datos, evaluación de calidad de IA, moderación de contenido o un puesto afín.
Detalles de la oferta:
- Compromisos requeridos: al menos 4 horas por día y hasta 40 horas por semana, con 4 horas de superposición con PST.
- Tipo de contratación: contratista
- Duración del contrato: 3 meses
- Nuestra tarifa ofrecida para este proyecto es de $15 por hora.
Proceso de evaluación -
- A los candidatos preseleccionados se les enviará un formulario de interés en el puesto.
- Tras la revisión del perfil, se compartirá una evaluación que deberá completarse en un plazo de 24 horas.
- En función de los resultados de la evaluación, se contactará a los candidatos preseleccionados para tratar los requisitos previos a la incorporación.