Acerca del puesto
Sobre nosotros Con sede en San Francisco, California, Turing es el principal acelerador de investigación del mundo para laboratorios de IA de frontera y un socio de confianza para empresas globales que despliegan sistemas de IA avanzados. Turing apoya a sus clientes de dos maneras: primero, acelerando la investigación de frontera con datos de alta calidad, pipelines de entrenamiento avanzados y los mejores investigadores de IA especializados en ingeniería de software, razonamiento lógico, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA de prueba de concepto en inteligencia propia con sistemas que funcionan de manera confiable, generan un impacto medible e impulsan resultados duraderos en el estado de resultados.
Descripción general del proyecto Buscamos investigadores y expertos técnicos de alto nivel. El objetivo central de este rol es mejorar las capacidades de razonamiento y resolución de problemas de un modelo de frontera objetivo mediante el diseño, la validación y el análisis de tareas de referencia desafiantes.
Qué implica el rol:
- Diseño y desarrollo de tareas: Diseñar problemas desafiantes del mundo real que sirvan como base para un modelo. Los problemas deben construirse para apuntar a fallas específicas de pérdida de capacidad central identificadas en un modelo líder.
- Generación de contenido: Integrar los problemas en un entorno de desarrollo agéntico, preparando todos los componentes necesarios con Python, que incluyen:
- Instrucciones detalladas y una descripción general de la tarea requerida.
- Una solución de referencia que siga las instrucciones.
- El entorno necesario, incluidos conjuntos de datos, bibliotecas de Python y metadatos.
- Un notebook de pruebas que contenga pruebas unitarias que las soluciones deben superar.
- Evaluación y análisis: Evaluar el rendimiento del modelo cruzado en las tareas.
- Identificación de margen de mejora: Identificar las tareas en las que el modelo objetivo no logra superar todas las pruebas, clasificando específicamente la falla como una falla de razonamiento lógico.
- Extracción de pérdidas: Analizar los pasos del agente (trayectoria del agente) para observar y extraer patrones de pérdida de capacidad central del modelo.
Habilidades requeridas
- Colaboradores de GitHub altamente calificados.
- Los postulantes deben tener una sólida experiencia en ciencia de datos, ML, programación o una formación cuantitativa profunda en STEM de frontera.
- Capacidad de comprometerse de manera confiable durante 30+ horas por semana (en días hábiles).
Proceso de evaluación
- El proceso de postulación toma ~15 minutos.
- Se requiere completar una entrevista en video con IA.