직무 소개
Turing 소개: 캘리포니아주 샌프란시스코에 본사를 둔 Turing은 최첨단 AI 연구소를 위한 세계 선도적인 연구 액셀러레이터이자, 첨단 AI 시스템을 도입하는 글로벌 기업의 신뢰받는 파트너입니다. Turing은 두 가지 방식으로 고객을 지원합니다. 첫째, 고품질 데이터, 고도화된 학습 파이프라인, 그리고 코딩, 추론, STEM, 다국어, 멀티모달리티, 에이전트를 전문으로 하는 최고 수준의 AI 연구자를 통해 최첨단 연구를 가속합니다. 둘째, 그 전문성을 활용해 기업이 AI를 개념 검증 단계에서 독자적인 인텔리전스로 전환하도록 돕습니다. 이를 통해 안정적으로 작동하고, 측정 가능한 영향을 만들어 내며, 손익(P&L)에서 지속적인 성과를 이끌어 내는 시스템을 구현합니다.
직무 개요
최첨단(SOTA) AI 모델(예: Claude Opus 5 Max)의 약점을 확실하게 드러내는 근거 기반 웹 리서치 벤치마크 과업을 구축할 분석적 연구원 겸 레드팀 전문가를 찾고 있습니다. 이 직무에서는 찾기 어려운 사실을 발굴하고, 이를 중심으로 정밀한 리서치 과업을 설계하며, 선도적인 LLM을 대상으로 직접 테스트하고, 모델의 검색 및 추론 경로에서 나타나는 정확한 실패 메커니즘을 진단하게 됩니다.
이 업무는 AI 평가 프레임워크를 직접 형성하며, 차세대 최첨단 모델이 엄격하고 간단하지 않은 실제 리서치 시나리오로 테스트되도록 합니다.
직무 요건:
- 핵심 경력: 탐사 조사, 팩트체크, AI 벤치마크 과업 작성, 레드티밍 또는 기술 QA 검토 분야 경력 1년 이상.
- 벤치마크 이해도: GAIA, BrowseComp, SimpleQA, SWE-bench, Terminal-Bench, Humanity’s Last Exam(HLE) 등 AI 벤치마크의 과업을 작성, 테스트 또는 검토한 입증된 경험.
- 분석 및 OSINT 역량: 중급에서 고급 수준의 웹 검색 및 오픈 소스 인텔리전스(OSINT) 역량; 학술 아카이브, 지역 기록 또는 잘 알려지지 않은 데이터베이스를 탐색할 수 있는 능력.
- 모델 궤적 디버깅: 모델의 추론 체인, 검색 로그, 출처 선택을 살펴 실패의 근본 원인을 진단하는 뛰어난 분석 능력.
- 정밀한 글쓰기: 빈틈없고 1차 출처에 기반한 정답 키를 갖춘, 명확하고 모호하지 않은 벤치마크 프롬프트를 작성하는 능력.
주요 업무:
- 알려지지 않은 사실 발굴: 틈새 주제를 깊이 조사하여 단순하고 직접적인 검색 쿼리로는 드러나지 않는 사실상의 정답(ground truth)을 찾아냅니다.
- 출처 검증: 1차 출처 또는 신뢰도가 매우 높은 출처를 기준으로 사실을 엄밀하게 검증하고, 상충하는 증거를 교차 확인하며, 정확한 출처 URL을 문서화합니다.
- 과업 구성: 모델 리서치 전략의 구조적 약점을 드러내도록 특별히 설계된, 명확하고 답할 수 있는 벤치마크 과업을 작성합니다.
- 레드티밍 및 모델 테스트: 지정된 SOTA 모델을 대상으로 과업을 실행하여 의도한 모델 실패가 안정적으로 유발되는지 확인합니다.
- 실패 진단 및 디버깅: 모델 실행 로그, 검색 궤적, 중간 출력을 추적하여 모델이 어디에서 왜 실패했는지 정확히 짚어냅니다(실제 모델의 한계와 모호한 프롬프트를 구분).
- 패턴 확장 및 검토: 검증된 “모델을 무너뜨리는” 리서치 패턴을 새로운 도메인에 적용하고, 우수한 성과를 내는 경우 동료 트레이너가 작성한 과업을 검토합니다.
강력 우대 사항 (우대 자격 요건)
- 이 직무에는 관련 공학 분야의 학사 이상 학위가 반드시 필요합니다.
- SOTA 모델을 무너뜨리는 프롬프트 인젝션 또는 추론 함정 과업을 직접 설계한 경험.
- 깊이 있는 출처 검증을 보여주는 고급 OSINT 역량 또는 발표된 탐사/학술 연구.
- 찾기 어려운 기록이 풍부한 분야(예: 지방 정부 제출 서류, 지역 스포츠 역사, 법률 아카이브, 역사적 특허)에 대한 틈새 전문 지식.
- AI 평가 프로젝트에서 리드 리뷰어, 벤치마크 감사자 또는 품질 책임자로 활동한 경험.
제안 조건:
- 필수 투입 조건: 주당 최대 40시간이며 PST와 4시간 겹침.
- 계약 형태: 계약자
- 참여 기간: 최대 4주
평가 절차 -
- 지원자는 직무 관심 양식(Job Interest Form)과 평가 과제를 제출해야 합니다.
- 평가에서 최종 선정된 인재는 평가와 검토를 거쳐 그에 따라 다음 단계를 진행하게 됩니다.