Über die Stelle
Über die Rolle
Was wäre, wenn Ihre Engineering-Fähigkeiten direkt darüber entscheiden könnten, ob die fortschrittlichsten KI-Systeme der Welt tatsächlich funktionieren? Wir suchen Senior Software Engineers, die die Evaluierungsinfrastruktur entwerfen, aufbauen und skalieren, mit der KI-Leistung gemessen wird – die entscheidende Schicht zwischen roher Modellausgabe und Vertrauen in der realen Welt.
Dies ist wirkungsvolle, technisch anspruchsvolle Arbeit an der Schnittstelle von Software Engineering und KI-Forschung. Sie bauen die Tools, Pipelines und Frameworks, mit denen führende Forschungsteams verstehen, was ihre Modelle leisten können, wo sie scheitern und wie man sie verbessert. Wenn Sie robuste Systeme lieben und Qualität und Messung am Herzen liegen, sind Sie in dieser Rolle im Zentrum der KI-Revolution.
- Organisation: Alignerr
- Typ: Vertrag auf Stundenbasis
- Standort: Remote
- Zeitaufwand: 20–40 Stunden/Woche
---
Was Sie tun werden
- Skalierbare Evaluierungspipelines und -frameworks entwerfen und aufbauen, um die Leistung von KI-Modellen über vielfältige Aufgaben und Domänen hinweg zu bewerten
- Automatisierte Test-Harnesses, Bewertungssysteme und Benchmarking-Tools für große Sprachmodelle und andere KI-Systeme entwickeln
- Sauberen Code in Produktionsqualität schreiben, um Evaluierungsdatensätze im großen Maßstab zu verarbeiten, zu analysieren und zu visualisieren
- APIs, Dashboards und interne Tools erstellen und pflegen, mit denen Forschungsteams Evaluierungen effizient ausführen, verfolgen und vergleichen können
- Mit KI-Forschenden und Data Scientists zusammenarbeiten, um Evaluierungsmethoden in zuverlässige, wiederholbare Software zu übersetzen
- Randfälle, Fehlermodi und Zuverlässigkeitsprobleme in KI-Ausgaben durch systematische Engineering-Ansätze identifizieren
- Systemleistung, Datenverarbeitungsgeschwindigkeit und Infrastrukturkosten optimieren
- Zur Architektur und technischen Ausrichtung der Evaluierungsplattform beitragen
- Klare Dokumentation schreiben und an Code Reviews teilnehmen, um hohe Engineering-Standards aufrechtzuerhalten
---
Wer Sie sind
- 4+ Jahre Berufserfahrung im Software Engineering mit nachweislicher Erfahrung beim Aufbau und Ausliefern von Produktionssystemen
- Ausgeprägte Python-Kenntnisse – einschließlich Erfahrung mit Datenverarbeitungsbibliotheken (pandas, NumPy) und Web-Frameworks (FastAPI, Flask oder Django)
- Fundiertes Verständnis von Softwarearchitektur, Design Patterns und Engineering-Best Practices
- Erfahrung im Umgang mit großen Datensätzen und beim Aufbau von Datenpipelines
- Sicherer Umgang mit Cloud-Infrastruktur (AWS, GCP oder Azure) und containerisierten Deployments
- Vertrautheit mit Versionskontrolle (Git), CI/CD-Workflows und Test-Frameworks
- Ausgeprägte Problemlösungsfähigkeiten und die Fähigkeit, mit Ambiguität eigenständig umzugehen
- Hervorragende schriftliche Kommunikationsfähigkeiten – Sie können Ihre Arbeit klar dokumentieren und asynchron zusammenarbeiten
- Eigenmotiviert und zuverlässig bei der eigenständigen Arbeit in einer Remote-Umgebung
Wünschenswert
- Erfahrung mit ML/KI-Evaluierung, Benchmarking oder Modelltests
- Vertrautheit mit LLMs, Prompt Engineering oder Konzepten zu KI-Sicherheit und Alignment
- Hintergrund im Aufbau von Entwickler-Tools, internen Plattformen oder Dateninfrastruktur
- Erfahrung mit verteilten Systemen, Message Queues oder Workflow-Orchestrierung (Airflow, Prefect usw.)
- Kenntnisse statistischer Methoden zur Messung und zum Vergleich von Modellleistung
- Frühere Erfahrung in einer Remote-first- oder Async-first-Engineering-Kultur
- Beiträge zu Open-Source-Projekten in den Bereichen KI, ML oder Evaluierungs-Tooling
---
Warum bei uns arbeiten
- An hochmodernen KI-Evaluierungsprojekten an der Seite erstklassiger Forschungslabore arbeiten
- Direkten Einfluss darauf nehmen, wie KI-Qualität und -Sicherheit im großen Maßstab gemessen werden – Ihr Code prägt den Standard
- Vollständig remote und flexibel – arbeiten Sie, wann und wo Sie am produktivsten sind
- Freelance-Autonomie mit Zugang zu zutiefst sinnvoller, technisch stimulierender Arbeit
- Zusammenarbeit mit einem globalen Team aus Engineers und Forschenden, die die Grenzen der KI verschieben
- Einblick in die neuesten Entwicklungen in KI-Forschung, Modellfähigkeiten und Evaluierungswissenschaft
- Potenzial für fortlaufende Arbeit und Vertragsverlängerung, während Plattform und Projektumfang wachsen