Acerca del puesto
Título del puesto: Analista de inteligencia
Tipo de puesto: Contratista
Ubicación: Remoto
micro1 está contratando a analistas de inteligencia para contribuir a un proyecto de cara al cliente centrado en evaluar y hacer avanzar las capacidades de la inteligencia artificial. En este puesto, aplicará su experiencia para ayudar a entrenar sistemas de IA de última generación. Su trabajo determinará cómo los modelos aprenden, razonan y se desempeñan a partir de aportaciones reales y de alta calidad. No se requiere experiencia previa en IA: lo que importa es su conocimiento del área.
Alcance del trabajo
- Desarrollar y asignar casos analíticos a taxonomías definidas en múltiples áreas de evaluación, garantizando una cobertura integral de los escenarios de inteligencia relevantes.
- Redactar casos de prueba complejos diseñados para evaluar el desempeño del modelo en el manejo de fuentes, el rigor analítico y la expresión matizada de la incertidumbre.
- Evaluar y calificar las respuestas generadas por IA con base en criterios como el razonamiento, el uso de las fuentes, el reconocimiento de limitaciones y la utilidad práctica.
- Identificar y señalar los casos en que el modelo rechaza en exceso una exploración analítica legítima, aportando documentación y comentarios claros.
- Documentar casos límite y desacuerdos analíticos, apoyando la mejora continua de las metodologías de evaluación.
- Colaborar con los responsables del proyecto para perfeccionar los procedimientos de evaluación de fuentes y de asignación de niveles de confianza.
- Aportar perspectivas para ayudar a calibrar los estándares analíticos y mejorar la calidad general de los benchmarks de los sistemas de IA.
Cualificaciones preferidas
- Experiencia analítica demostrada con todas las fuentes (all-source) o profundo dominio de una disciplina analítica específica, idealmente con trayectoria en la comunidad de inteligencia (IC) civil.
- Gran dominio de la evaluación de fuentes, la valoración del nivel de confianza y los estándares analíticos establecidos.
- Experiencia en enseñanza, mentoría o dirección de revisiones analíticas, con trayectoria en el fomento del rigor analítico.
- Habilidades excepcionales de comunicación escrita y oral, con énfasis en la claridad y la precisión.
- Capacidad para identificar y expresar limitaciones matizadas del modelo y escenarios de rechazo excesivo.
- Familiaridad con las técnicas analíticas estructuradas y los estándares del oficio de la inteligencia (tradecraft).
- Se valora la participación previa en iniciativas de evaluación de IA o de valoración de modelos.
Más información sobre nuestro trabajo en gobierno y defensa
En micro1 trabajamos con expertos en gobierno y defensa para evaluar el desempeño de los modelos avanzados de IA en tareas del mundo real.
Nuestro benchmark MissionReport evalúa los informes militares y gubernamentales generados por IA, y destaca la importancia del criterio experto, la exactitud y la comprensión operativa.
Más información: https://www.micro1.ai/benchmark/mission-report