Modellbewerter – KI/ML

Über Turing Turing ist eines der am schnellsten wachsenden KI-Unternehmen der Welt und beschleunigt die Weiterentwicklung und den Einsatz leistungsfähiger KI-Systeme. Sie stehen an vorderster Front bei der Bewertung, wie LLMs mit echtem Code interagieren, und beeinflussen die Zukunft der KI-gestützten Softwareentwicklung. Dies ist eine einzigartige Gelegenheit, praktische Softwareentwicklung mit KI-Forschung zu verbinden.

Über die Rolle:

Wir suchen erfahrene Softwareentwickler zur Unterstützung einer Initiative für KI-Training und -Bewertung an der Grenze des Machbaren, die darauf abzielt, die Programmierfähigkeiten von KI-Agenten zu verbessern. In dieser Rolle prüfen und vergleichen Sie KI-generierte Programmierlösungen für realitätsnahe Softwareentwicklungsaufgaben. Sie analysieren vollständige Ausführungsabläufe von Agenten, bewerten Codekorrektheit, Effizienz, Sicherheit und Gesamtqualität und geben strukturierte Bewertungen sowie evidenzbasierte Rückmeldungen, um die KI-gestützte Softwareentwicklung zu verbessern.

Wie sieht der Arbeitsalltag aus:

• Sie prüfen drei KI-Programmieragenten, denen jeweils dieselbe echte Entwickleranfrage gegeben wurde.
• Sie lesen den vollständigen Lauf jedes Agenten: die ausgeführten Befehle, die geänderten Dateien, was er geprüft hat und seine abschließende Nachricht.
• Dann beurteilen Sie, welcher Lauf die Aufgabe am besten erledigt hat.

Für jede Aufgabe

• Bewerten Sie jeden Lauf in 10 Qualitätsbereichen, wie Befolgung der Anweisungen, Funktionieren des Codes, Effizienz, Sicherheit, Ehrlichkeit und Kommunikation.
• Geben Sie jedem Lauf eine Gesamtbewertung von 1 bis 5 und ordnen Sie die drei.
• Schreiben Sie eine kurze Begründung, die Ihre Rangfolge erklärt, mit Belegen aus den Läufen.

Erforderliche Fähigkeiten:

• Mindestens 3+ Jahre Gesamterfahrung
• Fundierte Erfahrung mit mindestens einer der folgenden Sprachen: Python, JavaScript/TypeScript, Java, Go, PHP oder ähnlich.
• Kenntnisse in Shell-Befehlen, Git, Docker und grundlegender Software-Pipeline-Einrichtung.
• Sicher im Ausführen, Ändern und Testen realitätsnaher Projekte lokal.

Bewertungs- und Auswahlverfahren

• Die Kandidaten müssen im Rahmen des Auswahlverfahrens drei Übungsbewertungsaufgaben abschließen.
• Jede Bewertung erfordert Qualitätsbewertungen, Gesamtbewertungen, vergleichende Rangfolgen und schriftliche Begründungen.
• Ein Prüfer bewertet jede Aufgabe auf technische Genauigkeit, Konsistenz und Qualität der Argumentation.
• Die Kandidaten werden erst nach Genehmigung aller drei Übungsaufgaben eingebunden.

WICHTIG — STRENGE KEINE-KI-RICHTLINIE

• VERWENDEN SIE CHATGPT ODER ANDERE KI-WERKZEUGE NICHT, UM IHRE BEWERTUNGSBEGRÜNDUNGEN, ERKLÄRUNGEN ODER GRÜNDE ZU VERFASSEN.
• ALLE BEGRÜNDUNGEN UND ARGUMENTATIONEN MÜSSEN VOM KANDIDATEN SELBSTSTÄNDIG VERFASST WERDEN.
• DIE EINHALTUNG WIRD ÜBERPRÜFT. JEDE VERWENDUNG VON KI-GENERIERTEN BEGRÜNDUNGEN ODER GRÜNDEN FÜHRT ZUR AUTOMATISCHEN ABLEHNUNG.

Vorteile der Freiberuflichkeit bei Turing

• Arbeiten in einer vollständig remote Umgebung.
• Möglichkeit, an innovativen KI-Projekten mit führenden LLM-Unternehmen zu arbeiten.

Angebotsdetails

• Erforderliche Verpflichtungen: Mindestens 8 Stunden pro Tag und 40 Stunden pro Woche mit Überschneidung von 4 Stunden mit PST.
• Beschäftigungsart: Vertragsauftrag (kein Krankheits-/bezahlter Urlaub)
• Vertragsdauer: 1 Monat; [voraussichtlicher Start ist nächste Woche]
• Zahlungsmodell: $25 pro genehmigter Aufgabe
• Standort: Indien, Pakistan, Nigeria, Kenia, Ägypten, Ghana, Bangladesch, Türkei, Mexiko, LA

Bewertungsverfahren (ca. 75 Min.):

• Bewertung anhand von Aufgaben