Modellbewerter – DevOps

Über Turing Turing ist eines der am schnellsten wachsenden KI-Unternehmen der Welt und beschleunigt die Weiterentwicklung und den Einsatz leistungsstarker KI-Systeme. Sie stehen an vorderster Front bei der Bewertung, wie LLMs mit echtem Code interagieren, und beeinflussen die Zukunft der KI-gestützten Softwareentwicklung. Dies ist eine einzigartige Gelegenheit, praktische Softwareentwicklung mit KI-Forschung zu verbinden.

Über die Rolle:

Wir suchen erfahrene Softwareentwickler zur Unterstützung einer Frontier-KI-Trainings- und Bewertungsinitiative, die darauf abzielt, die Programmierfähigkeiten von KI-Agenten zu verbessern. In dieser Rolle prüfen und vergleichen Sie KI-generierte Programmierlösungen anhand realer Softwareentwicklungsaufgaben. Sie analysieren vollständige Agenten-Ausführungsabläufe, bewerten Codekorrektheit, Effizienz, Sicherheit und Gesamtqualität und liefern strukturierte Bewertungen und evidenzbasierte Rückmeldungen, um die KI-gestützte Softwareentwicklung zu verbessern.

Wie sieht der Arbeitsalltag aus:

• Sie prüfen drei KI-Programmieragenten, denen jeweils dieselbe reale Entwickleranfrage gestellt wurde.
• Sie lesen den vollständigen Lauf jedes Agenten: die ausgeführten Befehle, die geänderten Dateien, was er geprüft hat und seine abschließende Nachricht.
• Dann beurteilen Sie, welcher Lauf die Aufgabe am besten erledigt hat.

Für jede Aufgabe

• Bewerten Sie jeden Lauf in 10 Qualitätsbereichen, wie etwa Befolgung der Anweisungen, ob der Code funktioniert, Effizienz, Sicherheit, Ehrlichkeit und Kommunikation.
• Geben Sie jedem Lauf eine Gesamtbewertung von 1 bis 5 und ordnen Sie die drei ein.
• Schreiben Sie eine kurze Begründung, die Ihre Rangfolge mit Belegen aus den Läufen erklärt.

Erforderliche Fähigkeiten:

• Mindestens 3+ Jahre Gesamterfahrung
• Fundierte Erfahrung mit mindestens einer der folgenden Sprachen: Python, JavaScript/TypeScript, Java, Go, PHP oder ähnlich.
• Kenntnisse in Shell-Befehlen, Git, Docker und grundlegender Software-Pipeline-Einrichtung.
• Sicher im lokalen Ausführen, Ändern und Testen realer Projekte.

Bewertungs- und Auswahlverfahren

• Kandidaten müssen im Rahmen des Auswahlverfahrens drei Übungsbewertungsaufgaben abschließen.
• Jede Bewertung erfordert Qualitätsbewertungen, Gesamtbewertungen, vergleichende Rangfolgen und schriftliche Begründungen.
• Ein Prüfer bewertet jede Aufgabe auf technische Genauigkeit, Konsistenz und Qualität der Argumentation.
• Kandidaten werden erst onboarded, nachdem alle drei Übungsaufgaben genehmigt wurden.

WICHTIG — STRENGE KEINE-KI-RICHTLINIE

• VERWENDEN SIE CHATGPT ODER JEGLICHE ANDEREN KI-TOOLS NICHT, UM IHRE BEWERTUNGSBEGRÜNDUNGEN, ERLÄUTERUNGEN ODER BEGRÜNDUNGEN ZU VERFASSEN.
• ALLE BEGRÜNDUNGEN UND ARGUMENTATIONEN MÜSSEN VOM KANDIDATEN SELBSTSTÄNDIG VERFASST WERDEN.
• DIE EINHALTUNG WIRD GEPRÜFT. JEDE VERWENDUNG VON KI-GENERIERTEN BEGRÜNDUNGEN ODER BEGRÜNDUNGEN FÜHRT ZUR AUTOMATISCHEN ABLEHNUNG.

Vorteile des Freelancings mit Turing

• Arbeiten in einer vollständig remote Umgebung.
• Gelegenheit, an hochmodernen KI-Projekten mit führenden LLM-Unternehmen zu arbeiten.

Angebotsdetails

• Erforderliches Engagement: Mindestens 8 Stunden pro Tag und 40 Stunden pro Woche mit Überschneidung von 4 Stunden mit PST.
• Beschäftigungsart: Auftragnehmervereinbarung (kein Krankenurlaub/bezahlter Urlaub)
• Vertragsdauer: 1 Monat; [voraussichtliches Startdatum ist nächste Woche]
• Zahlungsmodell: $25 pro genehmigter Aufgabe
• Standort: Indien, Pakistan, Nigeria, Kenia, Ägypten, Ghana, Bangladesch, Türkei, Mexiko, LA

Bewertungsverfahren (ca. 75 Min.):

• Bewertungsbasierte Überprüfung