Über die Stelle
Über uns Turing hat seinen Sitz in San Francisco, Kalifornien, und ist der weltweit führende Forschungsbeschleuniger für Frontier-AI-Labore sowie ein vertrauenswürdiger Partner für globale Unternehmen, die fortschrittliche AI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Weisen: erstens durch die Beschleunigung von Frontier-Forschung mit hochwertigen Daten, fortschrittlichen Trainings-Pipelines sowie erstklassigen AI-Forschenden, die sich auf Software-Engineering, logisches Schlussfolgern, MINT, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert haben; und zweitens durch die Anwendung dieser Expertise, um Unternehmen dabei zu helfen, AI von Proof of Concept in proprietäre Intelligenz zu verwandeln, mit Systemen, die zuverlässig funktionieren, messbare Wirkung erzielen und nachhaltige Ergebnisse in der Gewinn- und Verlustrechnung treiben.
Projektübersicht Wir suchen hochkarätige Forschende und technische Expertinnen und Experten. Das Kernziel dieser Rolle ist es, die Schlussfolgerungs- und Problemlösungsfähigkeiten eines Ziel-Frontier-Modells zu verbessern, indem herausfordernde Benchmark-Aufgaben entworfen, validiert und analysiert werden.
Was die Rolle umfasst:
- Aufgabenkonzeption und -entwicklung: Entwerfen Sie herausfordernde, realitätsnahe Probleme, die als Grundlage für ein Modell dienen. Die Probleme sollten so konstruiert sein, dass sie auf spezifische Verluste bei Kernfähigkeiten abzielen, die bei einem führenden Modell festgestellt wurden.
- Inhaltserstellung: Integrieren Sie die Probleme in eine Agentic-Entwicklungsumgebung und bereiten Sie alle erforderlichen Komponenten mit Python vor, darunter:
- Detaillierte Anweisungen und eine Übersicht über die erforderliche Aufgabe.
- Eine Golden-Lösung, die den Anweisungen folgt.
- Die erforderliche Umgebung, einschließlich Datensätzen, Python-Bibliotheken und Metadaten.
- Ein Test-Notebook mit Unit-Tests, die die Lösungen bestehen müssen.
- Bewertung und Analyse: Bewerten Sie die Leistung des Cross-Modells bei den Aufgaben.
- Ermittlung von Headroom: Identifizieren Sie Aufgaben, bei denen das Zielmodell nicht alle Tests besteht, und klassifizieren Sie das Scheitern insbesondere als logisches Schlussfolgerungsversagen.
- Verlustextraktion: Analysieren Sie die Schritte des Agenten (Agent Trajectory), um Muster von Kernfähigkeitsverlusten des Modells zu beobachten und zu extrahieren.
Erforderliche Kenntnisse
- Hochqualifizierte GitHub-Mitwirkende.
- Bewerberinnen und Bewerber müssen über fundierte Expertise in entweder Data Science, ML, Coding oder einen tiefgehenden quantitativen Hintergrund in Frontier-MINT verfügen.
- Zuverlässige Verfügbarkeit für 30+ Stunden pro Woche (an Wochentagen).
Bewertungsprozess
- Der Bewerbungsprozess dauert ~15 Minuten.
- Die Absolvierung eines AI-Videointerviews ist erforderlich.