Analyste du renseignement

Intitulé du poste : Analyste du renseignement

Type de contrat : Prestataire indépendant

Lieu : À distance

micro1 fait appel à des analystes du renseignement pour contribuer à un projet orienté client axé sur l'évaluation et l'avancement des capacités de l'intelligence artificielle. Dans ce rôle, vous mettrez votre expertise au service de l'entraînement des systèmes d'IA de nouvelle génération. Votre travail déterminera la manière dont les modèles apprennent, raisonnent et fonctionnent, grâce à des contributions concrètes de haute qualité. Aucune expérience préalable en IA n'est requise — ce sont vos connaissances du domaine qui comptent.

Périmètre de la mission

• Élaborer des cas analytiques et les faire correspondre à des taxonomies définies dans plusieurs domaines d'évaluation, afin de garantir une couverture complète des scénarios de renseignement pertinents.
• Rédiger des cas de test complexes conçus pour évaluer les performances du modèle en matière de traitement des sources, de rigueur analytique et d'expression nuancée de l'incertitude.
• Évaluer et noter les réponses générées par l'IA selon des critères tels que le raisonnement, l'usage des sources, la reconnaissance des limites et l'utilité pratique.
• Repérer et signaler les cas où le modèle refuse de manière excessive une exploration analytique légitime, en fournissant une documentation et des retours clairs.
• Documenter les cas limites et les désaccords analytiques, en soutenant l'amélioration continue des méthodologies d'évaluation.
• Collaborer avec les responsables du projet pour affiner les procédures d'évaluation des sources et d'attribution des niveaux de confiance.
• Apporter des éclairages pour contribuer à calibrer les normes analytiques et à améliorer la qualité globale des benchmarks des systèmes d'IA.

Qualifications souhaitées

• Expérience analytique toutes sources avérée ou expertise approfondie dans une discipline analytique précise, idéalement avec un parcours dans la communauté du renseignement civile (IC).
• Solide maîtrise de l'évaluation des sources, de l'évaluation des niveaux de confiance et des normes analytiques établies.
• Expérience de l'enseignement, du mentorat ou de la direction de revues analytiques, avec un parcours de promotion de la rigueur analytique.
• Compétences exceptionnelles de communication écrite et orale, avec un accent mis sur la clarté et la précision.
• Capacité à repérer et à formuler les limites nuancées des modèles et les scénarios de sur-refus.
• Connaissance des techniques analytiques structurées et des normes de savoir-faire (tradecraft) du renseignement.
• Une participation antérieure à des initiatives d'évaluation d'IA ou de modèles est un atout.

En savoir plus sur nos travaux pour les secteurs gouvernemental et de la défense

Chez micro1, nous travaillons avec des experts des secteurs gouvernemental et de la défense pour évaluer les performances des modèles d'IA avancés sur des tâches concrètes.

Notre benchmark MissionReport évalue les rapports militaires et gouvernementaux générés par l'IA, en soulignant l'importance du jugement d'expert, de la précision et de la compréhension opérationnelle.

En savoir plus : https://www.micro1.ai/benchmark/mission-report