Über die Stelle
Anyone AI rekrutiert erfahrene Software Engineers für ein spezialisiertes Projekt, das sich auf die Prüfung und Bewertung realer Software-Engineering-Aufgaben konzentriert, die aus Open-Source-Repositories stammen.
Die Arbeit umfasst die Beurteilung, ob Coding-Aufgaben, die auf echten GitHub-Issues und Pull Requests basieren, technisch fundiert, reproduzierbar, angemessen getestet und repräsentativ für die Art von Problemen sind, die professionelle Software Engineers täglich lösen.
Woran Sie arbeiten werden
Sie prüfen Software-Engineering-Aufgaben zu:
- Realen Bugfixes und Feature-Implementierungen
- Open-Source-Repositories und Pull Requests
- Unit-Tests und Testabdeckung
- Repository-Setup und Dependency-Management
- Reproduzierbarkeit und Umgebungskonfiguration
- Aufgabenschwierigkeit und -komplexität
- Änderungen über mehrere Dateien und Module hinweg
- Technisches Feedback und Qualitätsbewertung
Sie stellen fest, ob Aufgaben klar spezifiziert, technisch lösbar, durch ausreichende Tests gestützt und frei von Problemen wie flaky Tests, fehlenden Abhängigkeiten, mehrdeutigen Anforderungen oder umgebungsspezifischem Verhalten sind.
Was wir suchen
- 3+ Jahre Berufserfahrung in der Softwareentwicklung
- Ausgeprägte Erfahrung mit großen, dateiübergreifenden Codebasen
- Erfahrung mit der Prüfung von Pull Requests, dem Debuggen von Issues und der Wartung von Produktionscode
- Fundiertes Verständnis von Unit-Testing und Testabdeckung
- Fähigkeit zu beurteilen, ob Tests eine Lösung korrekt validieren, ohne Implementierungsansätze unnötig einzuschränken
- Erfahrung mit Dependency-Management, Umgebungseinrichtung und Reproduzierbarkeit
- Fundiertes Verständnis von Git und GitHub-basierten Entwicklungs-Workflows
- Fähigkeit, komplexe technische Probleme zu analysieren und klares schriftliches Feedback zu geben
Wünschenswert
- Beiträge zu oder Wartung von Open-Source-Projekten
- Erfahrung mit SWE-Bench, SWE-Bench Verified oder ähnlichen Coding-Benchmarks
- Erfahrung mit großen Python-Open-Source-Projekten wie Django, Flask, scikit-learn, SymPy, matplotlib, requests oder pytest
- Erfahrung mit Docker, CI/CD, pip, conda oder Dependency Pinning
- Kenntnisse von Test Fixtures, Testisolierung oder property-based Testing
- Erfahrung mit der Konzeption technischer Assessments oder der Prüfung von Coding-Challenges
- Erfahrung mit KI/ML-Evaluierung, Datenkuratierung, RLHF oder Benchmark-Entwicklung
Wofür Sie verantwortlich sein werden
- Prüfung von Coding-Aufgaben, die aus echten GitHub-Issues und Pull Requests abgeleitet sind
- Beurteilung, ob Problembeschreibungen und Erfolgskriterien klar und vollständig sind
- Bewertung von Unit-Tests hinsichtlich Korrektheit, Abdeckung und Robustheit
- Identifizierung von flaky Tests, fehlenden Abhängigkeiten, Versionskonflikten und Umgebungsproblemen
- Feststellung, ob Aufgaben über verschiedene Umgebungen hinweg zuverlässig reproduziert werden können
- Beurteilung der realen Schwierigkeit und Komplexität jeder Aufgabe
- Klare Empfehlungen, ob Aufgaben angenommen, verbessert oder ausgeschlossen werden sollten
Engagement
Arbeitsart: Remote Engagement: Teilzeit, projektbasierte Beratung Schwerpunkt: Software Engineering, Open-Source-Code-Review, Testing und technische Evaluierung
Diese Rolle ist ideal für erfahrene Engineers, die gerne komplexe Codebasen debuggen, Pull Requests prüfen, mit Open-Source-Software arbeiten und bewerten, was ein gut konzipiertes Software-Engineering-Problem ausmacht.