Responsable de Garantía de Calidad Legal (QAL)

En este puesto de contratista remoto por horas, trabajarás como Responsable de Garantía de Calidad Legal (QAL) para supervisar la calidad, la consistencia y el desempeño de los entrenadores en proyectos de entrenamiento de IA legal. Revisarás contenido legal generado por IA y el trabajo de entrenadores/QA, evaluarás la calidad de los resultados según las directrices del proyecto, proporcionarás retroalimentación escrita precisa y garantizarás que todos los colaboradores sigan los estándares de calidad esperados.

Evaluarás el trabajo en cuanto a la calidad del razonamiento jurídico, la identificación de cuestiones, la conciencia jurisdiccional, el manejo de citas y fuentes, la claridad, la conciencia de riesgos, el formato, el seguimiento de instrucciones y el cumplimiento de las rúbricas específicas del proyecto. Detectarás problemas de calidad recurrentes, comunicarás actualizaciones a entrenadores y QA, apoyarás la incorporación, mantenerás la documentación y ayudarás a activar a los colaboradores que no están trabajando de manera constante. Este puesto requiere una sólida experiencia jurídica, sólidas habilidades de comunicación en inglés, excelente atención al detalle, comunicación estructurada y la capacidad de gestionar flujos de trabajo de calidad en equipos remotos de revisión legal.

Este puesto es con SME Careers, una empresa de Servicios de Datos de IA en rápido crecimiento y subsidiaria de SuperAnnotate, que proporciona datos de entrenamiento para muchas de las empresas de IA y laboratorios de modelos fundacionales más grandes del mundo. Tu liderazgo en calidad legal ayudará directamente a mejorar los principales modelos de IA del mundo al garantizar que los datos de entrenamiento legal sean precisos, bien razonados, claramente explicados, adecuadamente cautelosos, bien documentados y alineados con las expectativas del cliente.

El proceso de selección incluye una entrevista con IA, una tarea específica del dominio y una entrevista con un reclutador.

Importante: No hay un proyecto inmediato para este puesto; sin embargo, si estás calificado, estarás entre los primeros expertos a los que contactaremos cuando surjan oportunidades relevantes. Esto también te brindará acceso a futuros proyectos disponibles a través de nuestra red de expertos.

Lo que harás

• Monitoreo de calidad: Revisar por muestreo elementos legales, identificar problemas de calidad, proporcionar retroalimentación continua mediante mensajes directos y escalar problemas recurrentes o críticos.
• Revisión legal: Evaluar explicaciones legales generadas por IA, respuestas de investigación jurídica, análisis de contratos, interpretaciones de políticas, resúmenes de casos, orientación sobre cumplimiento y flujos de trabajo de identificación de cuestiones en cuanto a precisión, claridad y cautela adecuada.
• Comunicación con entrenadores y QA: Actualizar a entrenadores y QA en Discord sobre nuevas directrices de elementos, cambios en el proyecto, actualizaciones de flujos de trabajo, expectativas de calidad y estándares específicos de revisión legal.
• Gestión de preguntas: Responder a preguntas de entrenadores/QA de manera clara y oportuna, especialmente sobre razonamiento jurídico, jurisdicción, citas, calidad de fuentes, descargos de responsabilidad, lenguaje contractual, interpretación de cumplimiento y aplicación de rúbricas.
• Gestión de activación de entrenadores/QA: Enviar mensajes directos a colaboradores inactivos o que no están trabajando, fomentar la activación, hacer seguimiento y señalar problemas de disponibilidad cuando sea necesario.
• Documentación: Crear y mantener documentación de proyectos legales, incluidos guías de estilo, rastreadores, preguntas frecuentes, notas de calidad, ejemplos, honeypots, tareas de calibración y materiales de incorporación.
• Incorporación y entrenamiento: Programar y realizar llamadas de incorporación/entrenamiento con entrenadores y QA para explicar las expectativas del proyecto, los flujos de trabajo, las rúbricas, los estándares de calidad y los requisitos de revisión específicos del ámbito legal.
• Alineación de calidad: Garantizar que todos los entrenadores y QA apliquen las directrices de revisión legal de manera consistente y comprendan las actualizaciones a medida que los proyectos evolucionan.
• Revisión de riesgos y seguridad: Señalar resultados legales inseguros, engañosos, excesivamente confiados o jurisdiccionalmente inapropiados, especialmente cuando el contenido podría interpretarse como asesoramiento legal personalizado.
• Mejora de procesos: Identificar brechas de calidad recurrentes, proponer mejoras en los flujos de trabajo y ayudar a construir procesos de QA escalables para proyectos de entrenamiento de IA legal.

Lo que buscamos

• Licenciatura, JD, LLB, LLM o título equivalente en Derecho, Estudios Legales, Estudios de Paralegal, Cumplimiento, Políticas Públicas o un campo estrechamente relacionado.
• Sólido dominio del idioma inglés para seguir las directrices del proyecto, comunicarse con los equipos y proporcionar retroalimentación clara de revisión legal en inglés.
• 3+ años de experiencia profesional en práctica legal, investigación jurídica, revisión de contratos, cumplimiento, análisis regulatorio, trabajo de paralegal, operaciones legales, redacción legal, educación legal o flujos de trabajo relacionados.
• Sólida comprensión de conceptos legales centrales como razonamiento jurídico, identificación de cuestiones, interpretación de contratos, investigación jurídica, interpretación estatutaria, análisis de casos, cumplimiento, evaluación de riesgos y estándares de redacción legal.
• Capacidad para evaluar contenido legal según rúbricas detalladas e identificar problemas como conclusiones no respaldadas, citas alucinadas, desajuste jurisdiccional, asesoramiento legal excesivamente confiado, advertencias faltantes, estándares legales incorrectos, razonamiento incompleto o explicaciones poco claras.
• Se prefiere familiaridad con flujos de trabajo o herramientas legales comunes como revisión de contratos, memorandos legales, resúmenes de casos, orientación regulatoria, verificación de citas, bases de datos legales, revisión de documentos, listas de verificación de cumplimiento o análisis de políticas.
• Se prefiere fuertemente experiencia liderando o apoyando equipos remotos de entrenadores, anotadores, revisores, abogados, paralegales, redactores legales, investigadores o QA.
• Cómodo trabajando en entornos remotos de ritmo rápido utilizando herramientas como Discord, Google Sheets, Google Docs, rastreadores, paneles de control y sistemas de gestión de proyectos.
• Altamente orientado al detalle y organizado, con la capacidad de mantener guías de estilo, preguntas frecuentes, rastreadores, materiales de incorporación, honeypots, tareas de calibración y otra documentación de calidad.
• La experiencia con entrenamiento de IA, anotación de datos, modelos de lenguaje grandes, evaluación de prompts/respuestas, QA de contenido legal o evaluación de LLM basada en rúbricas es una gran ventaja.