직무 소개
Turing 소개:
캘리포니아주 샌프란시스코에 본사를 둔 Turing은 프런티어 AI 연구소를 위한 세계 최고의 연구 가속기이자, 첨단 AI 시스템을 도입하는 글로벌 기업의 신뢰받는 파트너입니다. Turing은 두 가지 방식으로 고객을 지원합니다. 첫째, 고품질 데이터, 고도화된 학습 파이프라인, 그리고 코딩, 추론, STEM, 다국어 능력, 멀티모달리티, 에이전트를 전문으로 하는 최고 수준의 AI 연구자를 통해 프런티어 연구를 가속화합니다. 둘째, 그 전문성을 적용하여 기업이 AI를 개념 증명 단계에서 독자적인 인텔리전스로 전환하도록 지원하며, 안정적으로 작동하고 측정 가능한 성과를 내며 손익계산서(P&L)에서 지속적인 결과를 이끌어 내는 시스템을 제공합니다.
역할 개요
최첨단 대규모 언어 모델(LLM)의 평가 및 개선을 지원할 의욕 넘치는 팀 관리(Team Management)를 찾고 있습니다. 이 역할에서는 구조화된 데이터를 분석하고, 도전적인 프롬프트를 작성하며, AI가 생성한 응답의 사실적 정확성과 추론 품질을 평가하고, 모델 성능을 개선하기 위한 근거 기반 피드백을 제공하게 됩니다.
호기심이 많고 꼼꼼하며 복잡한 문제를 해결하고 AI 시스템을 평가하는 일을 즐기는 전문가를 찾고 있습니다. 이상적인 지원자는 데이터를 분석하고, 비판적으로 사고하며, 근거에 비추어 응답을 검증하고, 모델의 출력이 왜 옳거나 틀렸는지 명확하게 설명할 수 있는 분입니다. AI 모델을 다루고 도전적인 평가 프롬프트를 작성해 본 경험은 큰 강점이 됩니다.
주요 업무
- 구조화된 데이터를 검색하고 분석하며 추론하는 LLM의 능력을 평가하는 도전적인 프롬프트를 작성합니다.
- AI가 생성한 응답의 사실적 정확성, 논리적 추론, 완전성을 평가합니다.
- 모델의 실패, 불일치, 환각(hallucination), 추론의 공백을 식별합니다.
- 제공된 데이터셋과 뒷받침하는 근거를 활용하여 모델 출력을 검증합니다.
- 명확하고 근거에 기반한 설명으로 발견 사항을 문서화합니다.
- 어노테이션 가이드라인을 일관되게 따르고 높은 품질 기준을 유지합니다.
최소 자격 요건
- 전공 무관 석사 학위 이상.
- 실무, 연구 또는 강의 경력 최소 3년.
- 뛰어난 분석 및 비판적 사고 능력.
- 뛰어난 영어 글쓰기 의사소통 능력.
- 탁월한 세부 사항 주의력과 원본 데이터에 비추어 정보를 검증할 수 있는 능력.
우대 자격 요건
- 대규모 언어 모델(LLM) 또는 생성형 AI를 다룬 경험.
- 프롬프트 엔지니어링, AI 평가, 데이터 어노테이션 또는 모델 테스트에 대한 이해.
- 구조화된 데이터셋(CSV, Excel, 데이터베이스 등)을 다룬 경험.
- 엣지 케이스를 식별하고 모델의 한계를 드러내는 프롬프트를 설계할 수 있는 능력.
혜택
- 최첨단 AI 프로젝트에 참여할 기회.
- 경쟁력 있는 보수.
- 유연한 근무 시간 및 원격 근무 환경.
계약 조건
- 필요 투입 시간: 주당 40, 30 또는 20시간이며 PST와 최소 4시간 겹쳐야 합니다
- 고용 형태: 계약직 업무 배정 (병가/유급 휴가 없음)
- 계약 기간: 4주
평가 절차:
- 자격 요건과 평가 점수를 기준으로 최종 후보를 선정합니다.