Over de functie
Anyone AI werft ervaren Software Engineers aan voor een gespecialiseerd project gericht op het beoordelen en evalueren van praktijkgerichte software-engineeringtaken die afkomstig zijn uit open-source repositories.
Het werk omvat het beoordelen of coderingstaken op basis van echte GitHub-issues en pull requests technisch solide, reproduceerbaar, voldoende getest en representatief zijn voor de soorten problemen die professionele software engineers dagelijks oplossen.
Waar je aan werkt
Je beoordeelt software-engineeringtaken met betrekking tot:
- Praktijkgerichte bugfixes en feature-implementaties
- Open-source repositories en pull requests
- Unit tests en testdekking
- Repository-setup en dependencybeheer
- Reproduceerbaarheid en omgevingsconfiguratie
- Moeilijkheid en complexiteit van taken
- Codewijzigingen over meerdere bestanden en modules
- Technische feedback en kwaliteitsbeoordeling
Je bepaalt of taken duidelijk gespecificeerd, technisch oplosbaar en door voldoende tests ondersteund zijn, en vrij zijn van problemen zoals flaky tests, ontbrekende dependencies, dubbelzinnige vereisten of omgevingsspecifiek gedrag.
Waar we naar zoeken
- 3+ jaar professionele software-engineeringervaring
- Sterke ervaring met grote codebases met meerdere bestanden
- Ervaring met het beoordelen van pull requests, debuggen van issues en onderhouden van productiecode
- Sterk begrip van unit testing en testdekking
- Vermogen om te beoordelen of tests een oplossing correct valideren zonder implementatiebenaderingen onnodig te beperken
- Ervaring met dependencybeheer, omgevingssetup en reproduceerbaarheid
- Sterk begrip van Git en GitHub-gebaseerde ontwikkelworkflows
- Vermogen om complexe technische problemen te analyseren en duidelijke schriftelijke feedback te geven
Prettig om te hebben
- Bijdragen aan of onderhoud van open-sourceprojecten
- Ervaring met SWE-Bench, SWE-Bench Verified of vergelijkbare coding benchmarks
- Ervaring met grote Python open-sourceprojecten zoals Django, Flask, scikit-learn, SymPy, matplotlib, requests of pytest
- Ervaring met Docker, CI/CD, pip, conda of dependency pinning
- Kennis van test fixtures, testisolatie of property-based testing
- Ervaring met het ontwerpen van technische assessments of het beoordelen van coding challenges
- Ervaring met AI/ML-evaluatie, data curation, RLHF of benchmarkontwikkeling
Waar je verantwoordelijk voor bent
- Het beoordelen van coderingstaken die afkomstig zijn uit echte GitHub-issues en pull requests
- Beoordelen of probleemomschrijvingen en succescriteria duidelijk en volledig zijn
- Evalueren van unit tests op correctheid, dekking en robuustheid
- Identificeren van flaky tests, ontbrekende dependencies, versieconflicten en omgevingsproblemen
- Bepalen of taken betrouwbaar reproduceerbaar zijn in verschillende omgevingen
- Beoordelen van de praktijkgerichte moeilijkheid en complexiteit van elke taak
- Duidelijke aanbevelingen geven over of taken moeten worden geaccepteerd, verbeterd of uitgesloten
Opdracht
Werktype: Remote Opdracht: Parttime, projectmatig consultancy Focus: Software-engineering, open-sourcecodebeoordeling, testing en technische evaluatie
Deze rol is zeer geschikt voor ervaren engineers die graag complexe codebases debuggen, pull requests beoordelen, met open-sourcesoftware werken en evalueren wat een software-engineeringprobleem goed ontworpen maakt.