Über die Stelle
In dieser stundenweisen Remote-Auftragnehmerrolle arbeiten Sie als STEM- und technische Fachexpertin bzw. Fachexperte (SME), um anspruchsvolle Fragen auf Expertenniveau zu erstellen, von KI generierte technische Inhalte zu bewerten und detaillierte Rubriken zu gestalten, die definieren, was eine korrekte, rigorose und expertenqualitative Antwort enthalten sollte.
Sie entwickeln Probleme innerhalb Ihres Fachgebiets, die fortgeschrittenes Denken statt einfaches Faktenwissen prüfen. Sie identifizieren Schwächen in Frontier-KI-Modellen, einschließlich falscher Annahmen, unvollständiger Argumentation, mathematischer oder wissenschaftlicher Fehler, übersehener Randfälle und Antworten, die plausibel erscheinen, aber unter Expertenprüfung nicht bestehen.
Ein wesentlicher Schwerpunkt dieser Rolle ist die Rubrikgestaltung und das Schreiben. Sie übersetzen komplexes technisches Urteilsvermögen in klare, spezifische und messbare Bewertungskriterien, einschließlich erforderlicher Konzepte, Argumentationsschritte, akzeptabler alternativer Ansätze, kritischer Fehler und Überlegungen zur Teilbewertung. Sie können auch Rubriken anderer Expertinnen und Experten kritisch prüfen und verbessern.
Diese Rolle ist bei SME Careers, einem schnell wachsenden Unternehmen für KI-Datendienste und Tochtergesellschaft von SuperAnnotate, das Trainingsdaten für viele der weltweit größten KI-Unternehmen und Foundation-Model-Labs bereitstellt. Ihre technische Expertise trägt direkt dazu bei, die führenden KI-Modelle der Welt zu verbessern, indem ihre Argumentation präziser, rigoroser und zuverlässiger wird.
Was Sie tun werden
- Technische Fragen auf Expertenniveau erstellen: Entwickeln Sie schwierige Fragen, die echtes technisches Denken prüfen und Schwächen in fortgeschrittenen KI-Systemen aufdecken.
- Bewertungsrubriken gestalten: Schreiben Sie strukturierte Kriterien, die definieren, was eine korrekte, rigorose und vollständige Antwort enthalten muss.
- Standards für Teilbewertung festlegen: Identifizieren Sie wesentliche Argumentationsschritte, akzeptable Alternativen, kleinere Fehler und kritische Fehlschläge.
- Von KI generierte Lösungen bewerten: Beurteilen Sie Ausgaben hinsichtlich Korrektheit, Argumentationsqualität, Vollständigkeit, Methodik und technischer Präzision.
- Versteckte Argumentationsfehler identifizieren: Erkennen Sie Fälle, in denen eine Antwort die richtige Schlussfolgerung über ungültige Annahmen oder fehlerhafte Logik erreicht.
- Rubriken von Kolleginnen und Kollegen kritisieren: Prüfen Sie die Kriterien anderer Expertinnen und Experten auf technische Genauigkeit, Klarheit, Vollständigkeit und Bewertungskonsistenz.
- Referenzinhalte entwickeln: Erstellen Sie Expertenantworten, Erklärungen, Kritiken und andere Goldstandard-Inhalte.
- KI-Training unterstützen: Erstellen Sie Fragen, Rubriken, Bewertungen, Präferenzurteile und Referenzantwort-Paare, die für RL- und SFT-Workflows geeignet sind.
- Technische Rigorosität wahren: Stellen Sie sicher, dass Inhalte angemessene professionelle oder akademische Standards innerhalb der relevanten Disziplin widerspiegeln.
Was wir suchen
- Bachelorabschluss oder höher in Mathematik, Physik, Chemie, Ingenieurwesen, Informatik, Statistik, angewandter Wissenschaft oder einer anderen technischen Disziplin.
- Ausgeprägte berufliche Englischkenntnisse, mindestens C1, mit der Fähigkeit, präzise technische Erklärungen und Bewertungskriterien zu verfassen.
- 3+ Jahre beruflicher, akademischer, Forschungs- oder Branchenerfahrung in Ihrem angegebenen technischen Bereich.
- Nachgewiesene fortgeschrittene Expertise in einem klar definierten technischen Feld oder einer Spezialisierung.
- Fähigkeit, anspruchsvolle technische Fragen zu erstellen, die mehrstufiges Denken, Fachwissen oder professionelles Urteilsvermögen erfordern.
- Ausgeprägte Fähigkeit, detaillierte Bewertungsrubriken zu gestalten, die erforderliche Argumentation, korrekte Methodik, akzeptable Alternativen, Teilbewertungskriterien und kritische Fehler definieren.
- Fähigkeit, zwischen einer korrekten endgültigen Antwort und einer Antwort zu unterscheiden, die durch gültige bzw. fehlerhafte Argumentation gestützt wird.
- Sicher im Prüfen und Kritisieren der Rubriken anderer Expertinnen und Experten hinsichtlich Mehrdeutigkeit, fehlender Kriterien, Redundanz, technischer Ungenauigkeiten oder schlechter Bewertungsgestaltung.
- Hohe Detailgenauigkeit bei der Bewertung von Formeln, Annahmen, Einheiten, Methodik, Randfällen, logischer Konsistenz und technischer Terminologie.
- Erfahrung mit Prüfungserstellung, akademischer Benotung, Peer Review, Forschungsbegutachtung, technischer Qualitätssicherung, Standardsentwicklung oder Bewertungsgestaltung ist stark bevorzugt.
- Frühere Erfahrung mit KI-Bewertung, RLHF, SFT, Benchmarking, Datenannotation, Prompt-Gestaltung oder LLM-Bewertung ist bevorzugt.
- Zuverlässig, selbstständig und in der Lage, in einem stundenweisen Remote-Auftragnehmer-Workflow gleichbleibende Qualität zu liefern.