Acerca del puesto
En este rol de contratista remoto por horas, trabajarás como Experto en la Materia (SME) en Legal y Compliance para crear preguntas profesionales desafiantes, evaluar contenido legal y regulatorio generado por IA, y diseñar rúbricas de alta calidad que definan qué debería contener una respuesta completa, bien razonada y profesionalmente adecuada.
Desarrollarás tareas que impliquen análisis legal, interpretación regulatoria, compliance, detección de problemas, evaluación de riesgos, interpretación de políticas, contratos, privacidad, regulación financiera, asuntos laborales, compliance corporativo o campos relacionados según tu especialización.
Evaluarás si las respuestas generadas por IA identifican problemas relevantes, aplican normas o estándares apropiados, reconocen excepciones, distinguen hechos de suposiciones, abordan riesgos relevantes y evitan conclusiones no fundamentadas.
Un componente principal de este rol es la redacción de rúbricas y el diseño de evaluaciones. Traducirás juicios legales o regulatorios matizados en criterios estructurados que abarquen identificación de problemas, estándares aplicables, calidad del análisis, exhaustividad, excepciones, consideraciones jurisdiccionales, riesgo y razonamiento profesional.
Este rol es con SME Careers, una empresa de Servicios de Datos de IA en rápido crecimiento y subsidiaria de SuperAnnotate, que proporciona datos de entrenamiento para muchas de las empresas de IA y laboratorios de modelos fundacionales más grandes del mundo. Tu experiencia ayuda directamente a mejorar los principales modelos de IA del mundo haciendo que sus resultados legales y de compliance sean más precisos, rigurosos y profesionalmente confiables.
Lo que harás
- Crear tareas legales y de compliance: Desarrollar escenarios realistas y difíciles que requieran análisis experto y juicio profesional.
- Diseñar rúbricas detalladas: Definir problemas relevantes, normas, estándares, pasos analíticos, excepciones, riesgos y errores críticos.
- Evaluar análisis generados por IA: Evaluar respuestas en cuanto a precisión, exhaustividad, calidad del razonamiento, relevancia y rigor profesional.
- Revisar la detección de problemas: Determinar si el modelo identifica las consideraciones legales o regulatorias materiales.
- Evaluar la calidad del razonamiento: Identificar conclusiones no fundamentadas, aplicación incorrecta de normas, excepciones faltantes y suposiciones erróneas.
- Criticar rúbricas de pares: Revisar rúbricas en busca de problemas faltantes, ambigüedad, redundancia, subjetividad excesiva o expectativas legales inexactas.
- Desarrollar contenido de referencia: Crear análisis de alta calidad, marcos de respuesta, críticas y ejemplos de referencia.
- Apoyar el entrenamiento de IA: Producir preguntas, rúbricas, evaluaciones, datos de preferencia y pares de respuesta de referencia para flujos de trabajo de RL y SFT.
- Mantener la calidad profesional: Asegurar que el contenido distinga adecuadamente entre análisis fáctico, interpretación legal, juicio profesional e incertidumbre.
Lo que buscamos
- JD, LLB, LLM, título en derecho, cualificación en compliance o formación profesional equivalente relevante para la especialidad indicada.
- Se prefiere encarecidamente una cualificación legal profesional o admisión al colegio de abogados para roles centrados en abogados.
- Sólida competencia profesional en inglés, mínimo C1.
- 3+ años de experiencia profesional en derecho, compliance regulatorio, investigación legal, políticas, riesgo, privacidad, compliance financiero, contratos o un campo relacionado.
- Experiencia demostrada en un dominio legal, regulatorio o de compliance claramente definido.
- Capacidad para crear escenarios profesionales desafiantes que requieran detección de problemas, interpretación, análisis y juicio.
- Sólida capacidad para diseñar rúbricas que definan problemas requeridos, estándares aplicables, pasos de razonamiento, excepciones relevantes, riesgos y omisiones críticas.
- Capacidad para distinguir entre interpretaciones legales alternativas legítimas y análisis objetivamente deficientes.
- Cómodo revisando y criticando rúbricas desarrolladas por otros expertos legales o de compliance.
- Gran atención al detalle al evaluar terminología, suposiciones fácticas, jurisdicción, autoridad, excepciones, materialidad y conclusiones.
- Se prefiere encarecidamente experiencia en educación legal, redacción de exámenes, revisión por pares, edición legal, aseguramiento de calidad, redacción de políticas, pruebas de compliance o revisión supervisora.
- Se prefiere experiencia previa en evaluación de IA, IA legal, anotación de datos, RLHF, benchmarking de modelos o puntuación basada en rúbricas.