Über die Stelle
Über Turing Turing ist eines der weltweit führenden AGI-Infrastrukturunternehmen und arbeitet mit KI-Spitzenlaboren zusammen, um die Modellentwicklung durch hochwertige Trainingsdaten, Evaluierungen und Engineering-Talente zu beschleunigen.
Über die Rolle Wir suchen Fachexperten (Subject Matter Experts) der Biowissenschaften, die anspruchsvolle Aufgaben zum wissenschaftlichen Schlussfolgern für LifeSciBench entwickeln. Anders als auf Programmierung ausgerichtete Benchmarks legt diese Rolle den Schwerpunkt auf tiefes biologisches Wissen, wissenschaftliche Interpretation und strenges logisches Schlussfolgern. Sie erstellen anspruchsvolle Fragen auf Grundlage realistischer wissenschaftlicher Szenarien, experimenteller Ergebnisse, biologischer Daten, Abbildungen, literaturartiger Belege und Forschungsprobleme.
Dies ist ein Benchmark ohne Code: Die Aufgaben werden nicht ausgeführt, und es sind keine Programmierkenntnisse erforderlich. Für wen das gedacht ist. Biowissenschaftlerinnen und Biowissenschaftler, die strenge Aufgaben zum wissenschaftlichen Schlussfolgern mit objektiv vertretbaren Antworten verfassen möchten – ganz ohne Programmierung. Wenn Ihre Stärke darin liegt, Experimente zu interpretieren, Mehrdeutigkeiten aufzuspüren und Fragen zu konstruieren, die Synthese statt reines Auswendiglernen belohnen, passt diese Rolle zu Ihnen. Für wen das nicht gedacht ist. Wenn Sie Aufgaben entwickeln möchten, bei denen Agenten Code schreiben und ausführen, sehen Sie sich GeneBench Pro (Genomik), Agentic Life Sciences (breite Workflows der Biowissenschaften) oder Terminal Bench Science (fachübergreifende terminalbasierte MINT-Aufgaben) an.
Wichtigste Aufgaben
- Entwurf neuartiger, anspruchsvoller Aufgaben der Biowissenschaften, die fortgeschrittenes wissenschaftliches Schlussfolgern erfordern.
- Erstellung von Aufgaben, die in realistischen Forschungsszenarien, Experimenten, biologischen Datensätzen, Abbildungen, Sequenzen, Strukturen oder wissenschaftlichen Belegen verankert sind.
- Entwicklung klarer Fragen mit klar definierten und objektiv vertretbaren Antworten.
- Verfassen strenger Experten-Referenzantworten, die das erforderliche wissenschaftliche Schlussfolgern erläutern.
- Sicherstellung, dass die Aufgaben Synthese und Interpretation statt einfachem Faktenwissen erfordern.
- Validierung aller biologischen Behauptungen, Berechnungen, Annahmen und Schlussfolgerungen.
- Erkennen von Mehrdeutigkeiten, alternativen wissenschaftlich gültigen Interpretationen und unzureichend eingegrenzten Fragen.
- Erstellung von Aufgaben, die in der Lage sind, KI-Spitzenmodelle anhand ihrer Fähigkeit zum wissenschaftlichen Schlussfolgern zu unterscheiden.
- Sicherstellung, dass die Ergebnisse klar dokumentiert und, wo zutreffend, reproduzierbar sind. • Wahrung hoher Qualität und hohen Durchsatzes bei gleichzeitiger Einarbeitung von Rückmeldungen der Gutachter. Hinweis zu den Eingaben: Die Aufgaben können je nach Projektanforderungen wissenschaftlichen Text, strukturierte Daten, Sequenzen, experimentelle Ergebnisse und andere wissenschaftliche Belege umfassen.
Erforderliche Qualifikationen
- Promotion, Postdoc-Erfahrung oder gleichwertige fortgeschrittene Forschungserfahrung in den Biowissenschaften.
- Fundierte Expertise in mindestens einer biologischen Disziplin.
- Nachgewiesene Fähigkeit, wissenschaftliche Experimente, Daten und Forschungsergebnisse zu interpretieren. Relevante Hintergründe umfassen
- Molekularbiologie
- Genetik und Genomik
- Zellbiologie
- Biochemie
- Neurowissenschaften
- Mikrobiologie
- Immunologie
- Evolutionsbiologie
- Ökologie
- Strukturbiologie
- Biophysik
- Entwicklungsbiologie
- Krebsbiologie
- Pharmakologie oder verwandte Disziplinen
Bevorzugt
- Erfahrung im Entwurf wissenschaftlicher Aufgaben oder Prüfungen auf Master- und Promotionsniveau. Fundierte Vertrautheit mit Versuchsplanung und Interpretation.
- Erfahrung in der Begutachtung wissenschaftlicher Manuskripte oder Forschungsarbeiten.
- Fähigkeit, komplexe wissenschaftliche Konzepte in präzise, in sich abgeschlossene Aufgaben zu übersetzen.
- Erfahrung in der Bewertung von LLM-generierten wissenschaftlichen Antworten.
Zusätzliche Pluspunkte für
- Publikationen in renommierten Fachzeitschriften mit Peer-Review oder auf Konferenzen.
- Erfahrung in Lehre oder Mentoring auf Master- und Promotionsniveau.
- Erfahrung mit Evaluierungsdatensätzen für KI/ML