Über die Stelle
Mercor sucht erfahrene zugelassene Rechtsanwälte, die Bewertungsrubriken und Ground-Truth-Antworten für einen Datensatz zur Rechtsrecherche prüfen, der zur Evaluierung fortgeschrittener KI-Systeme verwendet wird. Sie überprüfen bestehende Fragen zur Rechtsrecherche, verifizieren die Richtigkeit der Modellantworten und verfeinern Bewertungsrubriken, damit der Datensatz aktuelles Recht und solide juristische Argumentation widerspiegelt. Dies ist ein kurzfristiger, vollständig remote durchgeführter Auftrag.
- * *
Aufgaben
- Bewertungsrubriken auf Richtigkeit, Vollständigkeit, Konsistenz und Klarheit prüfen.
- Ground-Truth-Antworten anhand maßgeblicher Gesetze, Verordnungen und Rechtsprechung verifizieren.
- Rechtliche Fehler, veraltete Rechtsquellen, fehlende Fragestellungen und unklare Bewertungskriterien identifizieren.
- Ground-Truth-Antworten und Rubrikpunkte bei Bedarf umschreiben oder korrigieren.
- Prägnantes, strukturiertes schriftliches Feedback zu jedem geprüften Element geben.
- * *
Rechtsgebiete
Der Datensatz umfasst acht Rechtsgebiete. Erfahrung in einem oder mehreren ist erforderlich, Breite über mehrere hinweg ist von Vorteil:
- Verwaltungs- / Regulierungsrecht
- Wirtschafts- & Handelsrecht
- Zivilprozessrecht
- Verfassungs- / Bürgerrechte
- Strafrecht
- Familienrecht
- Gesundheitsrecht
- Einwanderungsrecht
- * *
Erforderliche Qualifikationen
- Juris Doctor (JD) und aktive Zulassung als Rechtsanwalt in den USA mit einwandfreiem Leumund.
- 5+ Jahre anwaltlicher Praxis.
- Substanzielle Erfahrung in mindestens einem der oben genannten Rechtsgebiete.
- Ausgeprägte Fähigkeiten in juristischer Recherche, Analyse und im Verfassen von Texten.
- Hohe Detailgenauigkeit und die Fähigkeit, konsistentes Urteilsvermögen anzuwenden.
- * *
Bevorzugte Qualifikationen
- Erfahrung in mehreren der aufgeführten Rechtsgebiete.
- Erfahrung als Gerichtsreferendar, in der Berufungsinstanz, in der Regierung oder in der Recherche bei einer Anwaltskanzlei.
- Frühere Erfahrung mit der Prüfung oder Bewertung juristischer Arbeitsergebnisse oder mit Projekten zur Evaluierung von KI / Legal-Tech.
- * *
Warum mitmachen?
- Setzen Sie Ihre juristische Expertise ein, um zu gestalten, wie KI-Systeme für die Rechtsrecherche evaluiert werden.
- Arbeiten Sie mit einer führenden KI-Forschungsorganisation zusammen.