AI 품질 분석가 (개인화) - 네덜란드어

Turing 소개: 캘리포니아주 샌프란시스코에 본사를 둔 Turing은 프런티어 AI 연구소를 위한 세계 최고의 연구 가속기이자, 첨단 AI 시스템을 도입하는 글로벌 기업의 신뢰받는 파트너입니다. Turing은 두 가지 방식으로 고객을 지원합니다. 첫째, 고품질 데이터, 고도화된 학습 파이프라인, 그리고 코딩, 추론, STEM, 다국어 처리, 멀티모달리티, 에이전트를 전문으로 하는 최고의 AI 연구원을 통해 프런티어 연구를 가속화합니다. 둘째, 그 전문성을 적용하여 기업이 AI를 개념 증명 단계에서 독자적인 인텔리전스로 전환하도록 돕고, 안정적으로 작동하고 측정 가능한 성과를 내며 P&L에서 지속적인 결과를 이끌어내는 시스템을 구현합니다.

역할 개요:

AI 품질 분석가로서 Gemini의 새로운 개인화 기능을 평가하게 됩니다. 과거 Gemini 대화, Gmail, Google 검색, YouTube 활동의 정보를 모델이 얼마나 잘 활용하여 응답을 더 관련성 있고 유용하게 만드는지 평가합니다. 이 역할에는 창의성과 분석적 엄밀성의 독특한 조화가 필요합니다. 본인의 개인적인 경험의 관점에서 프롬프트를 직접 설계하게 됩니다. 그런 다음 분석 역량을 활용하여 근거성(Grounding), 통합(Integration), 유용성(Helpfulness) 등의 측면에서 모델의 개인화된 응답 품질을 평가합니다.

핵심 자격 요건

• 네덜란드어 능력: 이 프로젝트의 중점 언어가 네덜란드어이므로, 높은 이해력으로 네덜란드어를 읽고 쓸 수 있는 능력.
• 개인 계정 사용: 진정성 있는 평가를 위해 테스트 계정이 아닌 주 개인 Google 계정을 사용하고 개인 데이터 소스를 활성화할 의향.
• 일정 유연성: 현지 시간대 기준 풀타임 근무가 가능해야 합니다. 저희는 글로벌 24시간 운영 팀을 구성하고 있습니다.
• 탁월한 분석적 사고: 미묘하고 모호한 AI 응답을 평가하는 능력, 특히 개인화 품질을 평가하는 능력을 입증할 수 있어야 합니다.
• 창의적 프롬프트 엔지니어링: 모델의 역량을 철저히 테스트하기 위해 개인적 맥락에 기반한 창의적인 멀티턴 시작 프롬프트를 설계한 경험.
• 뛰어난 평가 감각: 잘못된 개인화, 부실한 추론, 억지스러운 연결을 식별하는 능력을 포함한 개인화 개념에 대한 이해.
• 꼼꼼한 세부 사항 주의력: 나란히 비교(Side-by-Side, SxS) 방식의 모델 응답을 검토하고 자연스러움과 과도한 서술(overnarrating)의 미묘한 차이를 포착하는 능력.
• 우수한 서면 의사소통: 구체적인 턴 번호를 명시적으로 언급하면서 모델 순위에 대한 명확하고 간결하며 구조화된 근거를 작성하는 뛰어난 능력.
• 피드백: 건설적인 피드백과 상세한 주석을 제공할 수 있는 능력.
• 의사소통: 뛰어난 의사소통 및 협업 능력.
• 자율성: 자기 주도적이며 원격 환경에서 독립적으로 일할 수 있는 능력.
• 기술 환경: 안정적인 인터넷 연결을 갖춘 데스크톱/노트북 환경.

설명:

• 이 역할에서는 개인화된 AI 상호작용의 품질 평가에 집중하는 역동적인 팀의 일원이 됩니다. 일상 업무는 다음과 같습니다:
• AI가 본인의 개인 정보와 경험을 활용해야 하는 멀티턴 대화형 프롬프트(보통 1-5턴)를 설계하고 실행합니다.
• 시작 프롬프트에서 본인의 의도를 기준으로 모델 응답을 평가하여 개인화가 적절하게 적용되었는지 확인합니다.
• 본인에 대한 주장이 잘못된 추론이나 환각이 아니라 증거로 뒷받침되는지 확인하면서 응답의 근거성(Grounding) 문제를 분석합니다.
• 개인 데이터가 기계적인 "overnarrating"(과도한 서술) 없이 응답에 자연스럽게 녹아들도록 통합(Integration) 품질을 평가합니다.
• 두 모델 응답을 나란히(SxS) 엄격하게 평가하고 순위를 매겨 전반적으로 어느 쪽이 더 유용하고 사용하기 쉬우며 만족스러운지 판단합니다.
• 비교에 대해 명확하고 설득력 있는 근거를 작성하며, 대화 중 문제나 긍정적인 측면이 나타난 지점을 명시적으로 언급합니다.
• 채팅 요약과 데이터 소스가 제대로 활용되었는지 확인하기 위해 모델에서 "Debug Info"를 추출하고 검증합니다.
• 평가용 대화를 삭제하여 향후 채팅 기록이 오염되지 않도록 엄격한 데이터 위생을 유지합니다.

학력 및 경력

• 관련 분야(예: 정책, 법, 윤리, 언어학, 저널리즘, 컴퓨터 공학 또는 관련 분석 분야)의 학사 학위(BS/BA) 또는 이에 상응하는 경력.
• 데이터 어노테이션, AI 품질 평가, 콘텐츠 검수 또는 관련 직무 경험이 있으면 크게 우대합니다.

제안 내용:

• 요구 투입 시간: 하루 최소 4시간, 주당 최대 40시간이며 PST와 4시간 겹쳐야 합니다.
• 계약 형태: 계약직
• 계약 기간: 1개월
• 이 프로젝트의 제시 보수는 시간당 $20입니다.

평가 절차 -

• 최종 후보로 선정된 지원자에게 직무 관심 양식(Job Interest Form)이 발송됩니다.
• 프로필 검토 후 평가 과제가 공유되며, 24시간 이내에 완료해야 합니다.
• 평가 결과에 따라 최종 후보로 선정된 지원자에게 개별 연락하여 온보딩 전 요건을 논의합니다.