Über die Stelle
In dieser stundenbasierten Remote-Auftragnehmerrolle arbeiten Sie als Healthcare Subject Matter Expert (SME), um anspruchsvolle Fragen auf Expertenniveau im Gesundheitswesen zu erstellen, KI-generierte klinische Inhalte zu bewerten und hochwertige Rubriken zu entwerfen, die definieren, was eine korrekte, vollständige und fachlich angemessene Antwort enthalten sollte.
Sie nutzen Ihre klinische oder fachliche Expertise, um Bereiche zu identifizieren, in denen Frontier-KI-Modelle möglicherweise unvollständige, ungenaue, schlecht begründete, übermäßig selbstsichere oder klinisch unzureichende Antworten liefern. Sie verfassen spezialisierte Fragen innerhalb Ihres Fachgebiets, entwickeln detaillierte Bewertungskriterien, kritisieren Rubriken, die von anderen Fachkräften im Gesundheitswesen erstellt wurden, und geben präzises schriftliches Feedback.
Ein wesentlicher Schwerpunkt dieser Rolle ist das Rubrik-Design und die Expertenbewertung. Sie definieren wesentliche klinische Konzepte, Argumentationsschritte, relevante Einschränkungen, akzeptable alternative Ansätze, bedeutende Auslassungen und kritische Fehler, die oberflächliche Antworten von Antworten auf Expertenniveau unterscheiden.
Diese Rolle ist bei SME Careers angesiedelt, einem schnell wachsenden Unternehmen für KI-Datendienste und Tochtergesellschaft von SuperAnnotate, das Trainingsdaten für viele der weltweit größten KI-Unternehmen und Foundation-Model-Labore bereitstellt. Ihre Expertise im Gesundheitswesen trägt direkt dazu bei, die weltweit führenden KI-Modelle zu verbessern, indem ihre Antworten genauer, klinisch angemessener, rigoroser und zuverlässiger werden.
Was Sie tun werden
- Expertenfragen im Gesundheitswesen erstellen: Entwickeln Sie spezialisierte Fragen, die geeignet sind, Grenzen fortgeschrittener KI-Systeme aufzuzeigen.
- Detaillierte Rubriken entwerfen: Definieren Sie die Bestandteile, die für eine korrekte, vollständige und klinisch angemessene Antwort erforderlich sind.
- Kritische Kriterien identifizieren: Unterscheiden Sie wesentliche klinische Argumentation von ergänzenden Informationen.
- KI-Antworten bewerten: Beurteilen Sie Modellausgaben hinsichtlich faktischer Genauigkeit, Argumentation, Sicherheit, Vollständigkeit und professioneller Qualität.
- Subtile Fehler identifizieren: Erkennen Sie fehlende Überlegungen, unbegründete Annahmen, unangemessene Gewissheit und klinisch wichtige Auslassungen.
- Peer-Rubriken kritisieren: Identifizieren Sie Mehrdeutigkeit, Redundanz, falsche Erwartungen, fehlende Kriterien oder schlechtes Bewertungsdesign.
- Referenzantworten entwickeln: Erstellen Sie Expertenbeispiele, Erläuterungen, Kritiken und Goldstandard-Inhalte.
- KI-Training unterstützen: Generieren Sie Fragen, Rubriken, Bewertungen, Kritiken und Referenzantwort-Paare für RL- und SFT-Workflows.
- Klinische Qualität wahren: Stellen Sie sicher, dass die Inhalte angemessene Terminologie, professionelle Argumentation und evidenzbewusstes Urteilsvermögen widerspiegeln.
Was wir suchen
- Berufsabschluss, Lizenz, Zertifizierung oder anerkannte Qualifikation in Medizin, Zahnmedizin, Pharmazie, Pflege oder einer anderen Gesundheitsdisziplin.
- Starke berufliche Englischkenntnisse, mindestens C1.
- 3+ Jahre Berufs- oder klinische Erfahrung; Fachkräfte auf Senior- und Spezialistenebene werden stark bevorzugt.
- Nachgewiesene Expertise in einem klar definierten Fachgebiet oder Teilgebiet.
- Fähigkeit, anspruchsvolle klinische oder fachliche Fragen zu entwickeln, die echte Expertise und differenziertes Urteilsvermögen erfordern.
- Ausgeprägte Fähigkeit, detaillierte Bewertungsrubriken zu verfassen, die erforderliche Fakten, Argumentationsschritte, Einschränkungen, akzeptable Alternativen und kritische klinische Fehler definieren.
- Fähigkeit, zwischen geringfügigen Auslassungen und Fehlern zu unterscheiden, die die klinische Qualität oder Sicherheit wesentlich beeinflussen.
- Sicher im Überprüfen und Kritisieren von Rubriken, die von anderen Fachkräften im Gesundheitswesen erstellt wurden.
- Fähigkeit, KI-Ausgaben hinsichtlich Genauigkeit, Vollständigkeit, Qualität der Argumentation, Sicherheit, Kalibrierung und klinischer Relevanz zu bewerten.
- Erfahrung mit medizinischer Ausbildung, Prüfungserstellung, Kompetenzbewertung, klinischen Leitlinien, Lehre, Peer-Review oder Qualitätssicherung wird stark bevorzugt.
- Vorerfahrung mit KI-Bewertung, RLHF, SFT, Datenannotation, Modell-Benchmarking oder rubrikbasierter Bewertung ist von Vorteil.
- Zuverlässig, selbstständig und in der Lage, konsistente schriftliche Arbeiten zu erstellen.