Über die Stelle
Sind Sie ein AI-QA-Experte, der die Zukunft der KI mitgestalten möchte? Sprachmodelle im großen Maßstab entwickeln sich von cleveren Chatbots zu Enterprise-Plattformen weiter. Mit rigorosen Bewertungsdaten kann die KI von morgen erstklassige Bildung demokratisieren, mit Spitzenforschung Schritt halten und Workflows für Teams überall rationalisieren. Diese Qualität beginnt bei Ihnen – wir brauchen Ihre Expertise, um die Argumentationsfähigkeit und Zuverlässigkeit von Modellen zu härten.
Wir suchen AI-QA-Trainer, die Modellbewertung, LLM-Sicherheit, Prompt-Robustheit, Datenqualitätssicherung, mehrsprachige und domänenspezifische Tests, Grounding-Verifizierung sowie Compliance-/Readiness-Prüfungen leben und atmen. Sie werden fortgeschrittene Sprachmodelle bei Aufgaben wie Halluzinationserkennung, faktischer Konsistenz, Prompt-Injection- und Jailbreak-Resistenz, Bias/Fairness-Audits, Zuverlässigkeit von Gedankenketten, Korrektheit der Werkzeugnutzung, Treue der Retrieval-Augmentierung und End-to-End-Workflow-Validierung herausfordern – und dabei jeden Fehlermodus dokumentieren, damit wir die Messlatte höher legen können.
An einem typischen Tag werden Sie mit dem Modell über realistische Szenarien und Bewertungs-Prompts sprechen, faktische Genauigkeit und logische Stichhaltigkeit verifizieren, Testpläne und Regressions-Suites entwerfen und ausführen, klare Bewertungsraster und Bestehens-/Nichtbestehens-Kriterien erstellen, reproduzierbare Fehlerverläufe mit Hypothesen zur Ursache erfassen und Verbesserungen für Prompt-Engineering, Guardrails und Bewertungsmetriken (z. B. Precision/Recall, Faithfulness, Toxizität und Latenz-SLOs) vorschlagen. Sie werden außerdem bei adversarialem Red-Teaming, Automatisierung (Python/SQL) und Dashboards zur Verfolgung von Qualitätsdeltas im Zeitverlauf mitwirken.
Ein Bachelor-, Master- oder PhD-Abschluss in Informatik, Datenwissenschaft, Computerlinguistik, Statistik oder einem verwandten Fachgebiet ist ideal; ausgelieferte QA für ML-/AI-Systeme, Erfahrung mit Safety/Red-Teaming, Testautomatisierungs-Frameworks (z. B. PyTest) und praktische Arbeit mit LLM-Eval-Tooling (z. B. OpenAI Evals, RAG-Evaluatoren, W&B) signalisieren Eignung. Besonders hervorstechende Fähigkeiten sind: Design von Bewertungsrastern, adversariales Testen/Red-Teaming, Regressionstests im großen Maßstab, Bias/Fairness-Audits, Grounding-Verifizierung, Prompt- und System-Prompt-Engineering, Testautomatisierung (Python/SQL) und Bug-Reporting mit hohem Signalgehalt. Klare, metakognitive Kommunikation – „zeigen, wie Sie arbeiten“ – ist essenziell.
Bereit, Ihre QA-Expertise in das Qualitätsfundament für die KI von morgen zu verwandeln? Bewerben Sie sich noch heute und beginnen Sie damit, das Modell zu trainieren, das die Welt lehren wird.
Wir bieten eine Vergütungsspanne von $6 bis $65 pro Stunde, wobei der genaue Satz nach Bewertung Ihrer Erfahrung, Expertise und geografischen Lage festgelegt wird. Die endgültigen Angebotsbeträge können von der oben angegebenen Vergütungsspanne abweichen. Als Auftragnehmer stellen Sie einen sicheren Computer und Highspeed-Internet zur Verfügung; vom Unternehmen gesponserte Benefits wie Krankenversicherung und bezahlter Urlaub gelten nicht.
Beschäftigungsart: Vertrag Arbeitsumgebung: Remote Senioritätsstufe: Mid-Senior-Level