Desarrollador Python sénior

Acerca de Turing:

Turing es una de las empresas de IA de más rápido crecimiento del mundo, y acelera el avance y la implementación de sistemas de IA potentes.

Turing ayuda a sus clientes de dos maneras: trabajando con los principales laboratorios de IA del mundo para impulsar las capacidades de los modelos de vanguardia en pensamiento, razonamiento, programación, comportamiento agéntico, multimodalidad, multilingüismo, STEM y conocimiento de frontera; y aprovechando ese trabajo para crear sistemas de IA del mundo real que resuelvan prioridades críticas para las empresas.

Descripción del puesto:

Este puesto forma parte de un proyecto con una de las empresas de LLM fundacionales. El objetivo es ayudar a estas empresas de LLM fundacionales a mejorar sus Modelos de Lenguaje de Gran Tamaño.

Una de las formas en que ayudamos a estas empresas a mejorar sus modelos es proporcionándoles datos propietarios de alta calidad. Estos datos sirven para dos fines principales: primero, como base para el ajuste fino de sus modelos y, segundo, como conjunto de evaluación para comparar el rendimiento de sus modelos o de los de la competencia.

Por ejemplo, para la generación de datos de SFT, es posible que tenga que elaborar o que se le facilite un prompt que contenga código y preguntas proporcionados; a continuación, proporcionará las respuestas del modelo y escribirá el código Python correspondiente para resolver las preguntas.

Para la generación de datos de RLHF, es posible que tenga que crear usted mismo un prompt o utilizar uno proporcionado por el cliente, hacerle preguntas al modelo y evaluar los resultados generados por dos versiones del LLM. Comparará estos resultados y ofrecerá comentarios, que después se utilizan para ajustar los modelos. Tenga en cuenta que este puesto no implica crear ni ajustar LLM.

Cómo es el día a día:

• Diseñar, desarrollar y mantener código Python eficiente y de alta calidad para entrenar y optimizar modelos de IA.
• Realizar evaluaciones (Evals) para comparar el rendimiento de los modelos y analizar los resultados con vistas a la mejora continua.
• Familiaridad con frameworks y bibliotecas de Python
• Evaluar y clasificar las respuestas de los modelos de IA a consultas de usuarios en diversos ámbitos, garantizando su alineación con criterios predefinidos.
• Elaborar explicaciones y justificaciones completas de las evaluaciones, mostrando un excelente razonamiento y experiencia técnica.
• Liderar los esfuerzos de ajuste fino supervisado (SFT), incluida la creación y el mantenimiento de conjuntos de datos específicos de tareas y de alta calidad.
• Colaborar con investigadores y anotadores para ejecutar el aprendizaje por refuerzo con retroalimentación humana (RLHF) y perfeccionar los modelos de recompensa.
• Diseñar estrategias y procesos de evaluación innovadores para mejorar la alineación del modelo con las necesidades de los usuarios y las directrices éticas.
• Crear y perfeccionar respuestas óptimas para mejorar el rendimiento de la IA, con énfasis en la claridad, la relevancia y la precisión técnica.
• Realizar revisiones por pares exhaustivas del código y la documentación, ofreciendo comentarios constructivos e identificando áreas de mejora.
• Colaborar con equipos multifuncionales para mejorar el rendimiento del modelo y contribuir a las mejoras del producto.
• Explorar e integrar de forma continua nuevas herramientas, técnicas y metodologías para mejorar los procesos de entrenamiento de IA.

Requisitos:

• 3+ años de sólida experiencia con el lenguaje de programación Python.
• Experiencia en la industria y conocimiento de la calidad del código, el formato y las mejores prácticas del desarrollo de software
• Experiencia con el ecosistema de pruebas de Python, incluidas las pruebas unitarias, de integración y basadas en propiedades.
• Conocimiento de la programación multihilo y asíncrona en Python.
• Capacidad para trabajar con patrones de arquitectura y refactorizar código sin introducir regresiones.
• Sólidas habilidades de depuración, incluida la corrección de problemas de memoria y de concurrencia.
• Inglés conversacional y escrito fluido

Ventajas de trabajar como freelance con Turing:

• Trabajo en un entorno totalmente remoto.
• Oportunidad de trabajar en proyectos de IA de vanguardia con las principales empresas de LLM.

Detalles de la oferta:

• Dedicación requerida: al menos 4 horas al día y un mínimo de 20 horas por semana, con 4 horas de solapamiento con el horario PST. (Tenemos 3 opciones de dedicación horaria: 20 h/semana, 30 h/semana o 40 h/semana)
• Tipo de contratación : Asignación como contratista (sin cobertura médica ni permisos remunerados)
• Duración del contrato : 1 mes; [la fecha de inicio prevista es la próxima semana]

Proceso de evaluación (aproximadamente 75 min) :

• Dos rondas de entrevistas (60 min técnica + 15 min cultural y conversación sobre la oferta)