Philosophy Quality Assurance Lead (QAL)

In dieser stundenbasierten Remote-Auftragnehmerrolle arbeiten Sie als Philosophy Quality Assurance Lead (QAL), um Qualität, Konsistenz und Trainerleistung in philosophisch ausgerichteten KI-Trainingsprojekten zu überwachen. Sie prüfen KI-generierte Philosophieinhalte sowie Trainer-/QA-Arbeit, bewerten die Ausgabequalität anhand von Projektrichtlinien, geben präzises schriftliches Feedback und stellen sicher, dass alle Mitwirkenden die erwarteten Qualitätsstandards einhalten.

Sie bewerten Arbeiten hinsichtlich konzeptioneller Genauigkeit, Argumentationsstruktur, logischer Gültigkeit, philosophischem Kontext, Interpretationsqualität, Klarheit, Nuancen, Formatierung, Befolgung von Anweisungen und Einhaltung projektspezifischer Bewertungsraster. Sie erkennen wiederkehrende Qualitätsprobleme, kommunizieren Aktualisierungen an Trainer und QAs, unterstützen das Onboarding, pflegen Dokumentationen und helfen dabei, Mitwirkende zu aktivieren, die nicht kontinuierlich arbeiten. Diese Rolle erfordert fundierte Philosophieexpertise, starke Englischkenntnisse in der Kommunikation, ausgezeichnete Detailgenauigkeit, strukturierte Kommunikation und die Fähigkeit, Qualitätsworkflows über remote arbeitende Expertenteams hinweg zu steuern.

Diese Rolle ist bei SME Careers angesiedelt, einem schnell wachsenden Unternehmen für KI-Datendienste und Tochtergesellschaft von SuperAnnotate, das Trainingsdaten für viele der weltweit größten KI-Unternehmen und Foundation-Model-Labs bereitstellt. Ihre philosophische Qualitätsführung trägt direkt dazu bei, die weltweit führenden KI-Modelle zu verbessern, indem sie sicherstellt, dass philosophische Trainingsdaten konzeptionell präzise, logisch fundiert, gut kontextualisiert, nuanciert und mit den Kundenerwartungen abgestimmt sind.

Der Auswahlprozess umfasst ein KI-Interview, eine domänenspezifische Aufgabe und ein Interview mit einem Recruiter.

Wichtig: Für diese Rolle gibt es derzeit kein unmittelbares Projekt; wenn Sie jedoch qualifiziert sind, gehören Sie zu den ersten Expertinnen und Experten, die wir kontaktieren, sobald relevante Möglichkeiten entstehen. Dies bietet Ihnen außerdem Zugang zu zukünftigen Projekten, die über unser Expertennetzwerk verfügbar sind.

Was Sie tun werden

• Qualitätsüberwachung: Stichprobenartige Prüfung von Philosophie-Einträgen, Identifizierung von Qualitätsproblemen, laufendes Feedback über DMs und Eskalation wiederkehrender oder kritischer Probleme.
• Philosophie-Review: Bewertung KI-generierter Philosophieerklärungen, Argumentanalysen, ethischer Argumentation, Zusammenfassungen von Philosophinnen und Philosophen, Logikaufgaben und konzeptioneller Vergleiche auf Genauigkeit und Stringenz.
• Kommunikation mit Trainern und QAs: Aktualisierung von Trainern und QAs auf Discord über neue Eintragsrichtlinien, Projektänderungen, Workflow-Aktualisierungen, Qualitätserwartungen und philosophie-spezifische Review-Standards.
• Bearbeitung von Fragen: Klare und zeitnahe Beantwortung von Fragen von Trainern und QAs, insbesondere zu Argumentgültigkeit, konzeptionellen Unterscheidungen, philosophischen Traditionen, Interpretation, Ethik, Logik und Bewertungsraster-Interpretation.
• Verwaltung der Trainer-/QA-Aktivierung: DMs an inaktive oder nicht arbeitende Mitwirkende, Ermutigung zur Aktivierung, Nachverfolgung von Follow-ups und Kennzeichnung von Verfügbarkeitsproblemen bei Bedarf.
• Dokumentation: Erstellung und Pflege von Philosophie-Projektdokumentationen, einschließlich Styleguides, Trackern, FAQs, Qualitätshinweisen, Beispielen, Honeypots, Kalibrierungsaufgaben und Onboarding-Materialien.
• Onboarding und Training: Planung und Durchführung von Onboarding-/Trainings-Calls mit Trainern und QAs zur Erläuterung von Projekterwartungen, Workflows, Bewertungsrastern, Qualitätsstandards und philosophie-spezifischen Review-Anforderungen.
• Qualitätsabstimmung: Sicherstellung, dass alle Trainer und QAs die Philosophie-Review-Richtlinien konsistent anwenden und Aktualisierungen im Zuge der Projektentwicklung verstehen.
• Reasoning- und Ethik-Review: Kennzeichnung ungültiger, irreführender, voreingenommener, übermäßig selbstsicherer, schlecht argumentierter oder ethisch oberflächlicher philosophischer Inhalte.
• Prozessverbesserung: Identifizierung wiederkehrender Qualitätslücken, Vorschläge zur Workflow-Verbesserung und Unterstützung beim Aufbau skalierbarer QA-Prozesse für philosophische KI-Trainingsprojekte.

Was wir suchen

• Bachelor-, Master- oder PhD-Abschluss in Philosophie, Ethik, Logik, politischer Theorie, Geisteswissenschaften, Religionswissenschaft, Klassischer Philologie, Kognitionswissenschaft oder einem eng verwandten Fach.
• Starkes Verständnis der englischen Sprache, um Projektrichtlinien zu befolgen, mit Teams zu kommunizieren und klares schriftliches Feedback zu geben.
• 3+ Jahre Erfahrung in philosophischer Forschung, Lehre, Schreiben, Redaktion, akademischer Begutachtung, Ethik-Review, Logikunterricht oder verwandten geisteswissenschaftlichen Workflows.
• Fundiertes Verständnis philosophischer Methoden, Logik, Argumentanalyse, Ethik, Erkenntnistheorie, Metaphysik, Philosophie des Geistes, politischer Philosophie, Philosophiegeschichte und konzeptioneller Klärung.
• Fähigkeit, Philosophieinhalte anhand detaillierter Bewertungsraster zu bewerten und Probleme wie Strohmann-Argumente, ungültige Schlussfolgerungen, konzeptionelle Verwirrung, Übervereinfachung, unbelegte Behauptungen, falsche Gleichsetzung oder Fehldarstellungen der Ansichten von Philosophinnen und Philosophen zu identifizieren.
• Vertrautheit mit Bereichen wie formaler Logik, Moralphilosophie, angewandter Ethik, analytischer Philosophie, kontinentaler Philosophie, antiker Philosophie, politischer Philosophie, Wissenschaftsphilosophie oder KI-Ethik ist von Vorteil.
• Erfahrung in der Leitung oder Unterstützung remote arbeitender Teams von Forschenden, Autorinnen und Autoren, Gutachterinnen und Gutachtern, Lehrkräften, Annotatorinnen und Annotatoren oder QAs ist stark von Vorteil.
• Komfortables Arbeiten in schnelllebigen Remote-Umgebungen mit Tools wie Discord, Google Sheets, Google Docs, Trackern, Dashboards und Projektmanagementsystemen.
• Hochgradig detailorientiert und organisiert, mit der Fähigkeit, Styleguides, FAQs, Tracker, Onboarding-Materialien, Kalibrierungsaufgaben und Dokumentationen zu pflegen.
• Erfahrung mit KI-Training, Datenannotation, LLM-Evaluierung, akademischer QA, Ethik-Review oder rasterbasierter Überprüfung ist ein starkes Plus.