Über die Stelle
Rollenbezeichnung: Nachrichtendienstanalyst/-in
Art der Rolle: Freiberuflich
Standort: Remote
micro1 beauftragt Nachrichtendienstanalystinnen und -analysten, die zu einem kundenorientierten Projekt zur Evaluierung und Weiterentwicklung der Fähigkeiten künstlicher Intelligenz beitragen. In dieser Rolle setzen Sie Ihre Expertise ein, um KI-Systeme der nächsten Generation zu trainieren. Ihre Arbeit prägt, wie Modelle lernen, schlussfolgern und Leistung erbringen – durch hochwertigen, praxisnahen Input. Vorherige KI-Erfahrung ist nicht erforderlich – entscheidend ist Ihr Fachwissen.
Arbeitsumfang
- Entwickeln Sie analytische Fälle und ordnen Sie sie definierten Taxonomien über mehrere Evaluierungsbereiche hinweg zu, um eine umfassende Abdeckung relevanter nachrichtendienstlicher Szenarien sicherzustellen.
- Verfassen Sie komplexe Testfälle, die die Modellleistung bei Umgang mit Quellen, analytischer Stringenz und nuancierter Darstellung von Unsicherheit evaluieren.
- Beurteilen und benoten Sie KI-generierte Antworten anhand von Kriterien wie Argumentation, Quellennutzung, Erkennen von Einschränkungen und praktischem Nutzen.
- Identifizieren und markieren Sie Fälle, in denen das Modell legitime analytische Erkundung übermäßig ablehnt (Over-Refusal), und liefern Sie dazu klare Dokumentation und Feedback.
- Dokumentieren Sie Grenzfälle und analytische Meinungsverschiedenheiten und unterstützen Sie so die kontinuierliche Verbesserung der Evaluierungsmethodik.
- Arbeiten Sie mit der Projektleitung zusammen, um Verfahren zur Quellenbewertung und zur Zuweisung von Konfidenzniveaus zu verfeinern.
- Bringen Sie Erkenntnisse ein, um analytische Standards zu kalibrieren und die Gesamtqualität von Benchmarks für KI-Systeme zu steigern.
Wünschenswerte Qualifikationen
- Nachgewiesene All-Source-Analyseerfahrung oder tiefgehende Expertise in einer bestimmten analytischen Disziplin, idealerweise mit einem Hintergrund in der zivilen Intelligence Community (IC).
- Ausgeprägte Kompetenz in Quellenbewertung, Bewertung von Konfidenzniveaus und etablierten analytischen Standards.
- Erfahrung in der Lehre, im Mentoring oder in der Leitung analytischer Reviews, mit einer Erfolgsbilanz bei der Förderung analytischer Stringenz.
- Außergewöhnliche schriftliche und mündliche Kommunikationsfähigkeiten mit Schwerpunkt auf Klarheit und Präzision.
- Fähigkeit, nuancierte Modellgrenzen und Over-Refusal-Szenarien zu erkennen und zu artikulieren.
- Vertrautheit mit strukturierten analytischen Techniken und nachrichtendienstlichen Tradecraft-Standards.
- Frühere Mitwirkung an Initiativen zur KI-Evaluierung oder Modellbewertung ist ein Plus.
Mehr über unsere Arbeit für Regierung und Verteidigung erfahren
Bei micro1 arbeiten wir mit Fachleuten aus Regierung und Verteidigung zusammen, um zu bewerten, wie leistungsfähig fortschrittliche KI-Modelle bei realen Aufgaben sind.
Unser MissionReport-Benchmark bewertet KI-generierte Militär- und Regierungsberichte und unterstreicht die Bedeutung von Expertenurteil, Genauigkeit und operativem Verständnis.
Mehr erfahren: https://www.micro1.ai/benchmark/mission-report