Acerca del puesto
En este rol de contratista remoto por horas, trabajarás como Líder de Aseguramiento de Calidad (QAL) en Economía para supervisar la calidad, la consistencia y el desempeño de los entrenadores en proyectos de entrenamiento de IA centrados en economía. Revisarás contenido económico generado por IA y el trabajo de entrenadores/QA, evaluarás la calidad de los resultados según las directrices del proyecto, proporcionarás retroalimentación escrita precisa y garantizarás que todos los colaboradores sigan los estándares de calidad esperados.
Evaluarás el trabajo en cuanto a precisión económica, razonamiento del modelo, supuestos, interpretación de datos, corrección de cálculos, interpretación de gráficos, matices de políticas, claridad, formato, seguimiento de instrucciones y adhesión a las rúbricas específicas del proyecto. Detectarás problemas de calidad recurrentes, comunicarás actualizaciones a entrenadores y QAs, apoyarás la incorporación, mantenerás la documentación y ayudarás a activar a los colaboradores que no están trabajando de forma constante. Este rol requiere una sólida experiencia en economía, sólidas habilidades de comunicación en inglés, excelente atención al detalle, comunicación estructurada y la capacidad de gestionar flujos de trabajo de calidad en equipos remotos de expertos.
Este rol es con SME Careers, una empresa de Servicios de Datos de IA en rápido crecimiento y subsidiaria de SuperAnnotate, que proporciona datos de entrenamiento para muchas de las mayores empresas de IA y laboratorios de modelos fundacionales del mundo. Tu liderazgo en calidad económica ayudará directamente a mejorar los principales modelos de IA del mundo al garantizar que los datos de entrenamiento en economía sean precisos, analíticamente sólidos, bien explicados, conscientes de los supuestos y alineados con las expectativas del cliente.
El proceso de selección incluye una entrevista con IA, una tarea específica del dominio y una entrevista con un reclutador.
Importante: No hay un proyecto inmediato para este rol; sin embargo, si estás calificado, estarás entre los primeros expertos a los que contactaremos cuando surjan oportunidades relevantes. Esto también te brindará acceso a futuros proyectos disponibles a través de nuestra red de expertos.
Lo que harás
- Monitoreo de calidad: Revisar por muestreo elementos de economía, identificar problemas de calidad, proporcionar retroalimentación continua a través de mensajes directos y escalar problemas recurrentes o críticos.
- Revisión de economía: Evaluar explicaciones, cálculos, gráficos, análisis de políticas, interpretaciones de datos y razonamiento paso a paso generados por IA en el ámbito económico para verificar su precisión y claridad.
- Comunicación con entrenadores y QA: Actualizar a entrenadores y QAs en Discord sobre nuevas directrices de elementos, cambios del proyecto, actualizaciones de flujos de trabajo, expectativas de calidad y estándares de revisión específicos de economía.
- Gestión de preguntas: Responder a las preguntas de entrenadores/QA de manera clara y oportuna, especialmente en torno a modelos económicos, supuestos, fórmulas, gráficos, afirmaciones causales, interpretación de datos e interpretación de rúbricas.
- Gestión de activación de entrenadores/QA: Enviar mensajes directos a colaboradores que están inactivos o no trabajando, fomentar la activación, hacer seguimiento y señalar problemas de disponibilidad cuando sea necesario.
- Documentación: Crear y mantener documentación de proyectos de economía, incluidos guías de estilo, rastreadores, preguntas frecuentes, notas de calidad, ejemplos, honeypots, tareas de calibración y materiales de incorporación.
- Incorporación y entrenamiento: Programar y realizar llamadas de incorporación/entrenamiento con entrenadores y QAs para explicar las expectativas del proyecto, los flujos de trabajo, las rúbricas, los estándares de calidad y los requisitos de revisión específicos de economía.
- Alineación de calidad: Garantizar que todos los entrenadores y QAs apliquen las directrices de revisión económica de manera consistente y comprendan las actualizaciones a medida que los proyectos evolucionan.
- Revisión de riesgos: Señalar afirmaciones económicas excesivamente confiadas, engañosas, políticamente sesgadas, estadísticamente débiles o sin supuestos.
- Mejora de procesos: Identificar brechas de calidad recurrentes, proponer mejoras en los flujos de trabajo y ayudar a construir procesos de QA escalables para proyectos de entrenamiento de IA en economía.
Lo que buscamos
- Título de Bachelor’s, Master’s o PhD en Economía, Economía Aplicada, Econometría, Políticas Públicas, Finanzas, Estadística, Matemáticas o un campo cuantitativo/científico social estrechamente relacionado.
- Sólido dominio del idioma inglés para seguir las directrices del proyecto, comunicarse con los equipos y proporcionar retroalimentación escrita clara.
- 3+ años de experiencia en investigación económica, docencia, análisis de políticas, consultoría económica, análisis de datos, econometría, revisión de contenido o flujos de trabajo analíticos relacionados.
- Sólido entendimiento de microeconomía, macroeconomía, estructuras de mercado, incentivos, oferta y demanda, elasticidad, externalidades, política monetaria/fiscal, inflación, desempleo, comercio, crecimiento y razonamiento econométrico básico.
- Capacidad para evaluar contenido económico según rúbricas detalladas e identificar problemas como supuestos incorrectos, razonamiento causal defectuoso, fórmulas erróneas, gráficos engañosos, afirmaciones de políticas sin respaldo, mala interpretación de datos o conclusiones demasiado simplificadas.
- Se prefiere familiaridad con herramientas o métodos como análisis de regresión, inferencia causal, modelado económico, Excel, R, Python, Stata, conjuntos de datos públicos, informes de políticas y redacción académica en economía.
- Se prefiere fuertemente experiencia liderando o apoyando equipos remotos de analistas, investigadores, revisores, educadores, anotadores o QAs.
- Cómodo trabajando en entornos remotos de ritmo rápido utilizando herramientas como Discord, Google Sheets, Google Docs, rastreadores, paneles de control y sistemas de gestión de proyectos.
- Altamente orientado al detalle y organizado, con la capacidad de mantener guías de estilo, preguntas frecuentes, rastreadores, materiales de incorporación, tareas de calibración y documentación.
- Se valora especialmente la experiencia con entrenamiento de IA, anotación de datos, evaluación de LLM, QA económica, revisión académica o revisión basada en rúbricas.